Привет всем.
Можете подсказать в каком направлении копать, чтобы подружить Delphi и какой либо из HeadLess браузеров?
Очень желательно чтобы это был Chrome Headless.

CEF не предлагать, ибо по факту он не поддерживает headless mode.
Вернее, он "как бы" поддерживает, но в итоге Chromium HeadLess жрет столько же ресурсов что и обычный Chromium (CEF)
Поэтому смысла в таком headLess браузере нет.

С другой стороны - HeadLess Chrome в headless mode жрет гораздо меньше ресурсов, чем в обычном режиме.
И так как из языков программирования я знаю только Делфи (да, я лох))), хотелось бы как то подружить это все.

Задача - парсинг страниц с помощью JS.
Эта задача отлично выполняется сейчас с помощью Chromium. Но каждая страница в таком режиме жрет и память и процессор как обычный браузер. Хочется значительно уменьшить это пожирание ресурсов.

"HeadLess" - безголовый. Т.е браузер, который работает в фоном режиме, не виден пользователю, и поэтому не жрет ресурсы на отображение страниц, картинок, рендеринг и т.д.
Но при этом выполняет JS скрипт на страницах.
..

ziv-2014Basketbol,
Используй chromium, сделай один процесс браузера и уменьши ресурсы.

Это все равно дофига ресурсов на отображение страницы. У headless браузера это занимает меньше памяти.

ziv-2014Если парсинг простой и страницы простые (без JS, подгрузок и пр.),
то я бы вообще использовал какую-нибудь простую библиотеку -
Synapse, Indy и пр. Чуть больше кода, но зато гораздо эффективнее.

В том то и дело, что парсинг непростой. Речь идет о парсинге страниц букмекерских контор.
На них каждую секунду меняются коэффициенты.
P.S. И не нужно предлагать разбираться в сетевых ГЕТ и ПОСТ запросах.
Просто поверьте на слово - это дико сложно.

ziv-2014Basketbol,
У тебя существуют 3 варианта:
1. Chromium - уменьшить все что можно.
2. Htmlviewer ( https://github.com/BerndGabriel/HtmlViewer) + легковесный js (например, этот https://github.com/grijjy/DelphiDuktape) - но есть ограничения и придется попотеть, чтобы все это поженить. Но легковесней представить сложно.
3. Обрабатывать GET и POST запросы.

ziv-2014 , спасибо за ответ.
Вселенная послала мне человека, который все это уже решил и решил с помощью Chromium.
Сейчас мне предстоит перенять этот чудесный опыт.
Видимо, до сих пор я не понимал всей мощи Chromium.

BasketbolВселенная послала мне человека, который все это уже решил и решил с помощью Chromium.
Сейчас мне предстоит перенять этот чудесный опыт.
Видимо, до сих пор я не понимал всей мощи Chromium.

Видимо - мимо. Как это часто бывает - наобещал камаз всего и вся - взял предоплату и пропал)

Теперь копаю в сторону Delphi + Chrome Headless который управляется по порту.

Для меня странно, что уже существуют обертки для PHP, NODE.JS, PYTHON и др. языки и среды, а для Delphi еще нет...

ziv-2014Basketbol,
Возьми https://github.com/salvadordf/CEF4Delphi
Там есть пример как вызывать js код.

Так это я уже 55 лет использую))
Проблема то не в том, чтобы JS скрипт выполнить, а в том, как это сделать минимально возможными ресурсами.
Когда TChromium запускаешь с ключом --headless - смотрю по диспетчеру задач - все то же самое.
Хотя отрисовки действительно нет.
И где то на просторах интернета ( https://bitbucket.org/chromiumembedded/cef/issues/2349/headless-mode-without-x)
в одном комментарии написано:
CEF does not support Chrome headless mode.

Копаю в сторону работы Headless Chrome (не CEF).
Вот здесь описан "протокол" взаимодействия с Хромом:
https://chromedevtools.github.io/devtools-protocol/tot/

Общаюсь с одном человеком - он использует Chrome Headless из Perl
(Написал свой класс)
Говорит - можно из любой среды работать с ним с помощью неблокирующих сокетов.
Но я ващщще не понимаю с чего там начать)
Т.е. так то в принципе все понятно:
запускаем headless chrome


Дальше общаемся с помощью сокетов по указанному порту.
Но какие команды посылать?
Как открывать новые вкладки?
Как ожидать событие полной загрузки документа?
Как идентифицировать и общаться с конкретными вкладками?
Как запустить в нем JS скрипт?
Как получить вывод JS скрипта?
Вообщем - читаю эту документацию - и даже зацепиться не за что))

ziv-2014Ты используешь Chrome - он по своей природе не умеет минимальными ресурсами, тем более твою задачу.
Ты в принципе можешь сделать 1 процесс и уменьшить объем памяти. Но жрать то он всеравно будет прилично.
Тогда используй его последовательно. Загрузил одну задачу, обработал, берешь следующую и т. д.

Тут все дело в конкретных цифрах: отрисовка всего и вся занимает часть ресурсов.
Насколько меньше безголовый хром будет жрать ресурсов по сравнению с обычным?
Скажем если безголовый хром потребляет ресурсов раза в 4 меньше чем обычный - меня бы это устроило.
По крайней мере когда я из командной строки открываю одну и ту же страницу в обычном хроме и в безголовом - то разница чуть ли не в 10 раз, + меньше процессов.

И насчет последовательности: мне это нужно для ОДНОВРЕМЕННОГО парсинга большого количества страниц, контент на каждой из которых меняется очень быстро.

ziv-2014Вот тут для си# есть
https://github.com/ChromeDevTools/awesome-chrome-devtools

За это спасибо.
Пойду почитаю.
Может что то и прояснится.