ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Delphi + HeadLess браузер
25 сообщений из 51, страница 2 из 3
  2  все
Delphi + HeadLess браузер
    #39817561
Василий 2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Василий 2
Участник
BasketbolКопаю в сторону работы Headless Chrome (не CEF).
Вот здесь описан "протокол" взаимодействия с Хромом:
https://chromedevtools.github.io/devtools-protocol/tot/

Общаюсь с одном человеком - он использует Chrome Headless из Perl
(Написал свой класс)
Говорит - можно из любой среды работать с ним с помощью неблокирующих сокетов.
Но я ващщще не понимаю с чего там начать)
Т.е. так то в принципе все понятно:
запускаем headless chrome
Код: php
1.
 chrome --headless --remote-debugging-port=9222 https://[ТУТ_МОЯ_СТРАНИЦА]


Дальше общаемся с помощью сокетов по указанному порту.
Но какие команды посылать?
Как открывать новые вкладки?
Как ожидать событие полной загрузки документа?
Как идентифицировать и общаться с конкретными вкладками?
Как запустить в нем JS скрипт?
Как получить вывод JS скрипта?
Вообщем - читаю эту документацию - и даже зацепиться не за что))
Я бы посоветовал WebDriver стандарт, т.к. у Хрома свой вариант, а вдруг ты решишь перейти на Фокс, например. Все описание есть на сайте W3C
...
Рейтинг: 0 / 0
24.05.2019, 10:44
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39818415
ziv-2014
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ziv-2014
Участник
В CEF есть такой вот параметр WindowlessRenderingEnabled - может то, что нужно!
...
Рейтинг: 0 / 0
26.05.2019, 17:20
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39818416
ziv-2014
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ziv-2014
Участник
CEF3 не поддерживает однопоточный процесс :(
...
Рейтинг: 0 / 0
26.05.2019, 17:22
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39818421
Фотография Дегтярев Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дегтярев Евгений
Участник
BasketbolВ том то и дело, что парсинг непростой. Речь идет о парсинге страниц букмекерских контор.
На них каждую секунду меняются коэффициенты.
P.S. И не нужно предлагать разбираться в сетевых ГЕТ и ПОСТ запросах.
Просто поверьте на слово - это дико сложно.
мне интересно, на сколько чаще меняется разметка по сравнению в протоколах?
...
Рейтинг: 0 / 0
26.05.2019, 17:44
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854516
Фотография X11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
X11
Участник
Я так до конца и не понял, CEF без окна может нормально работать?
...
Рейтинг: 0 / 0
28.08.2019, 11:11
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854530
Фотография JayDi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JayDi
Участник
X11,

может, см. режим windowless:
https://github.com/salvadordf/CEF4Delphi/issues/205
...
Рейтинг: 0 / 0
28.08.2019, 11:25
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854537
Фотография X11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
X11
Участник
Неужели достаточно просто заменить на
CreateBrowser(nil, '')

?
...
Рейтинг: 0 / 0
28.08.2019, 11:33
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854539
Фотография JayDi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JayDi
Участник
А вообще правильно выше подсказали -- достаточно обычных запросов, браузер не нужен.

Зашел сейчас на первый попавшийся один-xbet, и вот что он запрашивает по таймеру, прямо в json-приходит -- ХАЛЯВА для разработчика, нафиг никакой хром не нужен:
https://1xbet.co.nz/LiveFeed/BestGamesExtVZip?count=10&antisports=198&mode=4&country=1
...
Рейтинг: 0 / 0
28.08.2019, 11:34
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854548
Фотография X11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
X11
Участник
Не достаточно, если сайт использует защиту от ботов и клаудфлэйр :)
...
Рейтинг: 0 / 0
28.08.2019, 11:48
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854599
Фотография JayDi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JayDi
Участник
Выше у одинxbet-а никакой защиты нет. А cloudflare -- это защита от ддоса, стандартные единичные запросы от одного пользователя ей по барабану, даже если в потоке их десятками пускать -- слишком мелко, чтобы заметить и заблочить.

В любом случае, если сайт определяет как бота, то решается использованием общей сессии/куков (например, первый запрос уходит на сайт как обычный пользователь, все остальные идут с полученными куками уже к конкретным страницам/апи).

Я к тому, что парсинг в 99% случаев решается через обычные http-запросы без использования полноценных браузерных движков. Видел всего несколько сайтов, где чувака заморачивались и кодировали/секретили запросы (у одних была асинхронная система с отправкой, получением результата; у других тупо кодировались данные, у третьих сокеты использовались).
...
Рейтинг: 0 / 0
28.08.2019, 13:12
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854630
Фотография X11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
X11
Участник
Например, для получение контактов нужно собрать разные коды, а что бы их собрать/сгенерировать, нужно выполнить кучу JS. Поэтому проще уже использовать полноценный браузер.
...
Рейтинг: 0 / 0
28.08.2019, 13:44
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854634
Фотография X11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
X11
Участник
JaDiЯ к тому, что парсинг в 99% случаев решается через обычные http-запросы

тем не менее, а что делать с 1%

JaDiВидел всего несколько сайтов, где чувака заморачивались и кодировали/секретили запросы (у одних была асинхронная система с отправкой, получением результата; у других тупо кодировались данные, у третьих сокеты использовались).

вот у меня есть таких 2-3 сайта

я уверен, что в будущем таких сайтов будет больше, раньше вообще не заморачивались, а сейчас заморачиваются с защитой контактов
...
Рейтинг: 0 / 0
28.08.2019, 13:47
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854655
Фотография X11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
X11
Участник
JaDiX11,

может, см. режим windowless:
https://github.com/salvadordf/CEF4Delphi/issues/205

там он рисует что-то сам на панели TBufferPanel.

Я о том, что одна и та же страница выполняется по разному с видимым окном и без окна
или вот этот 21954002 JS-код не выполняется или JS не видит нужный текст на html-странице
я так подразумеваю, что JS в данном случае отладить нельзя :( или узнать, выполняется он или нет
...
Рейтинг: 0 / 0
28.08.2019, 14:12
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854667
Фотография X11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
X11
Участник
JaDiX11,

может, см. режим windowless:
https://github.com/salvadordf/CEF4Delphi/issues/205

Я правильно понимаю, что сообщения из процесса рендеринга отправляются в главный поток приложения
Код: pascal
1.
2.
3.
4.
5.
procedure SimpleDOMIteration(const aDocument: ICefDomDocument; const frame: ICefFrame);
...
..
..
frame.SendProcessMessage(PID_BROWSER, msg);



поэтому если всё будет крутиться в дополнительном потоке, то этот дополнительный поток, в котором будет работать Chromium1ProcessMessageReceived() ничего не получит?
...
Рейтинг: 0 / 0
28.08.2019, 14:25
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854670
Фотография Кроик Семён
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кроик Семён
Участник
сейчас тему одну вяло изучаю:

есть такой продукт Selenium ( вики ) для выполнения автоматисированных тестов веб-страниц. Эта штука использует запущенный в фоне headless-браузер PhantomJS
...
Рейтинг: 0 / 0
28.08.2019, 14:28
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854676
Фотография Кроик Семён
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кроик Семён
Участник
P.S.
Download PhantomJS - для Windows: весь браузер состоит из одного EXE'шника "phantomjs.exe" без зависимостей, весом 17Мб
...
Рейтинг: 0 / 0
28.08.2019, 14:33
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854677
Фотография JayDi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JayDi
Участник
Даже для авито есть алгоритмы по вытаскиванию номеров телефонов -- главное, заморочиться и поискать/раздебажить.
...
Рейтинг: 0 / 0
28.08.2019, 14:34
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854711
Фотография X11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
X11
Участник
JaDi,там пока что с Авито нет особых проблем :)
...
Рейтинг: 0 / 0
28.08.2019, 15:26
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854857
Василий 2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Василий 2
Участник
Фантом был шикарен, но умер. Теперь на него закладываться нельзя, учитывая, как сейчас меняется стандарт веба. Уже сталкивался с сайтами, которые на нем ломаются.
Остается смотреть в сторону полноценных браузеров в headless режиме
...
Рейтинг: 0 / 0
28.08.2019, 19:23
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39854873
ziv-2014
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ziv-2014
Участник
Василий 2Остается смотреть в сторону полноценных браузеров в headless режиме
Например, каких?
...
Рейтинг: 0 / 0
28.08.2019, 20:33
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39855021
Фотография X11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
X11
Участник
ziv-2014,

Например CEF4Delphi.
Я проверил - работает без панели, где отрисовывается визуальный контент.
Не проверял, как будет работать в отдельном дополнительном потоке.
...
Рейтинг: 0 / 0
29.08.2019, 11:41
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39855365
Василий 2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Василий 2
Участник
ziv-2014Василий 2Остается смотреть в сторону полноценных браузеров в headless режиме
Например, каких?
Опера, Хром, Фокс.
...
Рейтинг: 0 / 0
29.08.2019, 21:15
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39899025
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
Basketbol
Для меня странно, что уже существуют обертки для PHP, NODE.JS, PYTHON и др. языки и среды, а для Delphi еще нет...

Что странного? Delphi не нужен.
...
Рейтинг: 0 / 0
06.12.2019, 12:12
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39899027
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
Basketbol,

Тебе нужен Selenium WebDriver, если ты так не хочешь парсить api букмекера.
...
Рейтинг: 0 / 0
06.12.2019, 12:14
| Ответить | Цитировать | Написать  
Delphi + HeadLess браузер
    #39899029
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
crutchmaster
Участник
Basketbol
P.S. И не нужно предлагать разбираться в сетевых ГЕТ и ПОСТ запросах.
Просто поверьте на слово - это дико сложно.

Давай ссылку на своё "дико сложно". Заценим.
...
Рейтинг: 0 / 0
06.12.2019, 12:16
| Ответить | Цитировать | Написать  
25 сообщений из 51, страница 2 из 3
  2  все
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Delphi + HeadLess браузер
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=58&msg=39818416&tid=2038794]:
 0ms
get settings:
 6ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 185ms
get topic data:
 6ms
get forum data:
 2ms
get page messages:
 38ms
get tp. blocked users:
 1ms
others: 200ms
total:  457ms
созд. / загр.: 457ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]