Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Java [игнор отключен] [закрыт для гостей] / Интеграция Mozilla внутрь Java приложения. / 25 сообщений из 29, страница 1 из 2
18.05.2016, 10:42
    #39237999
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Нужен subj. Для парсинга сайта (сайт использует JavaScript ((( ). UI не требуется. Как такое относительно легко сделать?

1. Сейчас смотрю на org.eclipse.swt.browser.Browser. Но не понятно, что нужно будет ставить на Linux сервер, что бы оно запустилось.

2. Mozilla JavaXPCOM вроде уже не поддерживается
https://developer.mozilla.org/en-US/docs/Mozilla/Tech/XPCOM/Language_bindings/JavaXPCOM
...
Рейтинг: 0 / 0
18.05.2016, 10:44
    #39238003
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Leonid KudryavtsevUI не требуется.
1. Сейчас смотрю на org.eclipse.swt.browser.Browser.

Не очень понял как эти двое совмещаются.

Selenium может?
...
Рейтинг: 0 / 0
18.05.2016, 11:07
    #39238028
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
BlazkowiczLeonid KudryavtsevUI не требуется.
1. Сейчас смотрю на org.eclipse.swt.browser.Browser.

Не очень понял как эти двое совмещаются.

Selenium может?
1. Главное, что бы работало. Остальное мелочи.
2. Спасибо за совет. Посмотрю на Selenium.
...
Рейтинг: 0 / 0
18.05.2016, 11:13
    #39238036
lleming
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
phantomjs
casperjs
...
Рейтинг: 0 / 0
18.05.2016, 11:13
    #39238037
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Blazkowicz, а Вы с Selenium работали?
...
Рейтинг: 0 / 0
18.05.2016, 11:21
    #39238052
Usman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Leonid Kudryavtsev,

JavaFX WebView / WebEngine
...
Рейтинг: 0 / 0
18.05.2016, 11:31
    #39238071
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Leonid Kudryavtsev1. Сейчас смотрю на org.eclipse.swt.browser.Browser
Посмотрел. Пример запустил. Переключился смотреть Selenium. В swt.browser слишком мало callback'ов ((( Мне нужно как минимум перехватывать событие скачивания файла.
...
Рейтинг: 0 / 0
18.05.2016, 11:59
    #39238115
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Leonid KudryavtsevBlazkowicz, а Вы с Selenium работали?
Совсем немного. Но, на сколько я понимаю, там полный доступ к DOM и JavaScript. Очень большая свобода действий. Но есть и недостатки, такие как тяжеловесный запуск браузера отдельным процессом.
...
Рейтинг: 0 / 0
18.05.2016, 12:03
    #39238124
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Можно как-то в Selenium перехватить Ajax запросы, которые выдает страница?

Т.е. нужен какой-то callback, который бы позволял работать приложению в качестве proxy между загруженной страничкой и internet'ом.
...
Рейтинг: 0 / 0
18.05.2016, 12:27
    #39238150
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Leonid Kudryavtsev,

http://stackoverflow.com/a/13946729
Зависит от того что именно с этим перехватом делать.
...
Рейтинг: 0 / 0
18.05.2016, 12:38
    #39238156
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Пока пытаюсь поиграться через JavaScript с
https://gist.github.com/chmanie/e616ef3b9d20321943e8

Firefox HarExport не совсем то, мне бы в on line перехватывать.

BlazkowiczЗависит от того что именно с этим перехватом делать.
1. Логировать параметры
2. Подменять данные
В on-line
...
Рейтинг: 0 / 0
18.05.2016, 12:40
    #39238158
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Leonid Kudryavtsev,

Логирование можно. Но "подмена" звучит странновато. Есть внутренний парсер, который читает внешний сайт для разбора. И вдруг зачем-то мы хотим сами себя обмануть и подсунуть ему внешний сайт не такой как он есть на самом деле.
...
Рейтинг: 0 / 0
18.05.2016, 12:51
    #39238165
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Нормально звучит.
Например банально хочу фильтровать трафик. Т.е. ряд рисунков, скриптов, фреймов можно не грузить.

AFAIK насколько помню, В IE вроде были события, вызывающиеся во время/вместо downlod'а ресурсов. Мне бы ровно такое. Что бы я посмотрел на URL и сказал - грузить с Inet'а, взять заглушку, отказаться от загрузки.

Но такого не вижу ((( Делать параллельно свой Proxy крайне не хочется. Это жесть какая-то (((
...
Рейтинг: 0 / 0
18.05.2016, 12:58
    #39238177
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Очень нужно. ASAP (((

Решения на основе Java Script ушло в топку. Не подходит. Сел за написание простейшего HTTP Proxy (((. Если кто может подсказать более просто решение, буду крайне рад.
...
Рейтинг: 0 / 0
18.05.2016, 13:53
    #39238227
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Leonid Kudryavtsev,

http://bmp.lightbody.net/
...
Рейтинг: 0 / 0
18.05.2016, 14:15
    #39238256
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Blazkowicz http://bmp.lightbody.net/

Спасибо.
Пока к проекту https://github.com/adamfisk/LittleProxy прикрутил.
...
Рейтинг: 0 / 0
18.05.2016, 14:47
    #39238306
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
LittleProxy входит составной частью в BMP.LightBody
...
Рейтинг: 0 / 0
18.05.2016, 16:12
    #39238425
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
А что делать в Maven POM файле, когда токая шняга:

последний Selenium использует
netty-all-3.5.7.Final

последний LigthBody использует
netty-all-4.0.36.Final

Совместно заставить скомпилировать и запускаться не получится?
...
Рейтинг: 0 / 0
18.05.2016, 16:49
    #39238478
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
х.з. Параллельно с dependences от maven'а включил руками кучу Jar'ники в Eclipse проект - стало компилироваться.

LightBody качая-то навороченная и не прозрачная. Пока заставить работать не удалось )))
...
Рейтинг: 0 / 0
18.05.2016, 17:40
    #39238519
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
У меня HTTPS, не HTTP (((

Т.ч. через проксю (ни LittleProxy, ни BMP.LigthBody ) ничего не работает. Хотя, вроде, там слова SSL в исходниках есть (((
...
Рейтинг: 0 / 0
18.05.2016, 17:52
    #39238532
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
В общем, из под Selenium'а я хочу вот эти сообщения от Мозиллы получать:

https://developer.mozilla.org/en-US/Add-ons/WebExtensions/API/webRequest

Как такое сделать - х.з.
...
Рейтинг: 0 / 0
18.05.2016, 19:44
    #39238591
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Если у кого есть идеи, как из плагина можно послать данные в Java код selenium - you are welcom )))

org.eclipse.swt.browser.Browser вроде умеет Java объекты публиковать внутри browser'а. Т.ч., наверное, под ним можно из плагина и Java методы дернут. А вот Selenium так из коробки не умеет. В google советуют по таймеру опрашивать - треш и угар.

Бросил мучать Java, пошел пить пива. Завтра продолжу разбирательство.
...
Рейтинг: 0 / 0
19.05.2016, 00:39
    #39238680
no56892
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Ну дак оберните мозиллу в jni.
...
Рейтинг: 0 / 0
19.05.2016, 12:15
    #39238968
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Нашел занятную статью на просторах I-net'а:

Writing Firefox Plugin to listen to HTTP Traffic
https://www.redline13.com/blog/2016/01/writing-firefox-plugin-to-listen-to-http-traffic/
...
Рейтинг: 0 / 0
19.05.2016, 13:43
    #39239086
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Интеграция Mozilla внутрь Java приложения.
Еще одна занятная статья:

Accessing priviledged Javascript APIs from your web page in Firefox with Selenium
https://opensourcehacker.com/2012/08/22/accessing-priviledged-javascript-apis-from-your-web-page-in-firefox-with-selenium/
...
Рейтинг: 0 / 0
Форумы / Java [игнор отключен] [закрыт для гостей] / Интеграция Mozilla внутрь Java приложения. / 25 сообщений из 29, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]