Нужен subj. Для парсинга сайта (сайт использует JavaScript ((( ). UI не требуется. Как такое относительно легко сделать?

1. Сейчас смотрю на org.eclipse.swt.browser.Browser. Но не понятно, что нужно будет ставить на Linux сервер, что бы оно запустилось.

2. Mozilla JavaXPCOM вроде уже не поддерживается
https://developer.mozilla.org/en-US/docs/Mozilla/Tech/XPCOM/Language_bindings/JavaXPCOM

BlazkowiczLeonid KudryavtsevUI не требуется.
1. Сейчас смотрю на org.eclipse.swt.browser.Browser.

Не очень понял как эти двое совмещаются.

Selenium может?
1. Главное, что бы работало. Остальное мелочи.
2. Спасибо за совет. Посмотрю на Selenium.

Blazkowicz, а Вы с Selenium работали?

Leonid Kudryavtsev1. Сейчас смотрю на org.eclipse.swt.browser.Browser
Посмотрел. Пример запустил. Переключился смотреть Selenium. В swt.browser слишком мало callback'ов ((( Мне нужно как минимум перехватывать событие скачивания файла.

Можно как-то в Selenium перехватить Ajax запросы, которые выдает страница?

Т.е. нужен какой-то callback, который бы позволял работать приложению в качестве proxy между загруженной страничкой и internet'ом.

Пока пытаюсь поиграться через JavaScript с
https://gist.github.com/chmanie/e616ef3b9d20321943e8

Firefox HarExport не совсем то, мне бы в on line перехватывать.

BlazkowiczЗависит от того что именно с этим перехватом делать.
1. Логировать параметры
2. Подменять данные
В on-line

Нормально звучит.
Например банально хочу фильтровать трафик. Т.е. ряд рисунков, скриптов, фреймов можно не грузить.

AFAIK насколько помню, В IE вроде были события, вызывающиеся во время/вместо downlod'а ресурсов. Мне бы ровно такое. Что бы я посмотрел на URL и сказал - грузить с Inet'а, взять заглушку, отказаться от загрузки.

Но такого не вижу ((( Делать параллельно свой Proxy крайне не хочется. Это жесть какая-то (((

Очень нужно. ASAP (((

Решения на основе Java Script ушло в топку. Не подходит. Сел за написание простейшего HTTP Proxy (((. Если кто может подсказать более просто решение, буду крайне рад.

Blazkowicz http://bmp.lightbody.net/

Спасибо.
Пока к проекту https://github.com/adamfisk/LittleProxy прикрутил.

LittleProxy входит составной частью в BMP.LightBody

А что делать в Maven POM файле, когда токая шняга:

последний Selenium использует
netty-all-3.5.7.Final

последний LigthBody использует
netty-all-4.0.36.Final

Совместно заставить скомпилировать и запускаться не получится?

х.з. Параллельно с dependences от maven'а включил руками кучу Jar'ники в Eclipse проект - стало компилироваться.

LightBody качая-то навороченная и не прозрачная. Пока заставить работать не удалось )))

У меня HTTPS, не HTTP (((

Т.ч. через проксю (ни LittleProxy, ни BMP.LigthBody ) ничего не работает. Хотя, вроде, там слова SSL в исходниках есть (((

В общем, из под Selenium'а я хочу вот эти сообщения от Мозиллы получать:

https://developer.mozilla.org/en-US/Add-ons/WebExtensions/API/webRequest

Как такое сделать - х.з.

Если у кого есть идеи, как из плагина можно послать данные в Java код selenium - you are welcom )))

org.eclipse.swt.browser.Browser вроде умеет Java объекты публиковать внутри browser'а. Т.ч., наверное, под ним можно из плагина и Java методы дернут. А вот Selenium так из коробки не умеет. В google советуют по таймеру опрашивать - треш и угар.

Бросил мучать Java, пошел пить пива. Завтра продолжу разбирательство.

Нашел занятную статью на просторах I-net'а:

Writing Firefox Plugin to listen to HTTP Traffic
https://www.redline13.com/blog/2016/01/writing-firefox-plugin-to-listen-to-http-traffic/

Еще одна занятная статья:

Accessing priviledged Javascript APIs from your web page in Firefox with Selenium
https://opensourcehacker.com/2012/08/22/accessing-priviledged-javascript-apis-from-your-web-page-in-firefox-with-selenium/

Мерзавцы. Убили возможность доступа в последних версиях Mozilla. Только extensions, только хардкор )))

https://bugzilla.mozilla.org/show_bug.cgi?id=546848

JavaScript и Mozilla уроды ((( Сделал расширение с помощью jpm - мой код работает, зато сыпятся ошибки в каком-то Loader.js. Мне кажется, что у них объекты JS API становятся deprecated уже в момент написания.

Плюнул на extensions, взял JavaXPCOM из xulrunner-1.9.2.19.en-US.win32.sdk.zip. Два часа и вроде все работает. Mozilla (v.46.0.1) запускается, nsIObserverService/nsIObserver все обсервит.

Все уроды (((. Как страшно жить

H-файлы от XUL Runner'а даже в Visul Studio 2015 не подключаются. Не совместимо с последними стандартами на C++

https://bugzilla.mozilla.org/show_bug.cgi?id=928808

Пришлось сделать через XPCOM от XUL Runner'а (который тоже уже стал deprecated ((( )

Java - JNI - XPCOM - XUL Runner в качестве browser'а

Не решенные проблемы на данный момент:

1. При запуске через XPCOM просто Mozilla 46.0.1, а не XUL Runner'а 41.

При подключении своего observer'а на http-on-modify-request в обсервер приходит aSubject который отказывается через QueryInterface преобразовывается в nsIHttpChannel ((( Хотя по доке, туда должен приходить nsIHttpChannel. При работе с XUL Runner'ом, все нормально. Долго разбирался и удивлялся. Похоже на секьюрити, но где почитать/как управлять - не понятно.

Ниже список интерфейсов к которым aSubject в http-on-modify-request преобразовывается, а в какие отказывается преобразовываться.

2. Похоже Mozilla только однопотоковая ((( и умеет только один instance на процесс. Если в процессе в другом потоке повторно сказать NS_InitXPCOM2 - то выдает ошибку

Из объяснимых проблем:
1. Из за однопотоковости достаточно сложно сопрячь с Java кодом. Всю работу пришло повесить на timer ( nsITimer ) и в Java тупо синхронизироваться через Object.wait, Object.notify
2. Кучу времени убил, пока разбирался, какие опции нужно выставлять в MS VS проекте. Нужно не забыть define XPCOM_GLUE, XP_WIN и собирать с release библиотеками
3. Заголовочный файл <mozilla/Char16.h> нужно включать в САМОМ начале. До любых стандартных include C (до stdafx.h!). Эта простая истинна до меня дошла только через неделю. Иначе можно словить какую-то блуждающую ошибку при компиляции. Чуть меняешь список/порядок include - то появляется, то исчезает.