|
|
|
Парсинг сайтов на дельфи
|
|||
|---|---|---|---|
|
#18+
Была у меня программа, которая парсила определенный сайт. Она сохраняла на локальный диск код страницы и парсила с него таблицу в текстовый файл. Работало через IHTMLDocument2 и IHTMLElementCollection. Таблица определялась по тегам. Так вот, с недавних пор сайт не сохраняется, при попытке доступа появляется окно - сайт не поддерживает ваш браузер. Потому что IHTMLDocument2 открывает сайт через IE. Как побороть проблему? Может есть другой способ сохранить ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2019, 17:02 |
|
||
|
Парсинг сайтов на дельфи
|
|||
|---|---|---|---|
|
#18+
RichardIVМожет есть другой способ сохранить ? Есть. Indy, CURL, любая другая библиотека, способная работать c HTTP. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2019, 17:13 |
|
||
|
Парсинг сайтов на дельфи
|
|||
|---|---|---|---|
|
#18+
RichardIV Была у меня программа, которая парсила определенный сайт. Она сохраняла на локальный диск код страницы и парсила с него таблицу в текстовый файл. Работало через IHTMLDocument2 и IHTMLElementCollection. Таблица определялась по тегам. Так вот, с недавних пор сайт не сохраняется, при попытке доступа появляется окно - сайт не поддерживает ваш браузер. Потому что IHTMLDocument2 открывает сайт через IE. Как побороть проблему? Может есть другой способ сохранить ? Changing the UA (User Agent) of a TWebBrowser component спасет ОРД? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2019, 17:37 |
|
||
|
Парсинг сайтов на дельфи
|
|||
|---|---|---|---|
|
#18+
RichardIV, Еще можно почитать про FEATURE_BROWSER_EMULATION, а вдруг... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2019, 18:45 |
|
||
|
Парсинг сайтов на дельфи
|
|||
|---|---|---|---|
|
#18+
RichardIV, А еще Chromium и MiniBlink ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2019, 18:51 |
|
||
|
Парсинг сайтов на дельфи
|
|||
|---|---|---|---|
|
#18+
ziv-2014 RichardIV, А еще Chromium и MiniBlink это уже тяжёлая артиллерия ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2019, 21:26 |
|
||
|
Парсинг сайтов на дельфи
|
|||
|---|---|---|---|
|
#18+
RichardIV, Делать реверс. Сайтостроители последнее время стараются активно защищаться от таких умников. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2019, 06:03 |
|
||
|
Парсинг сайтов на дельфи
|
|||
|---|---|---|---|
|
#18+
defecator ziv-2014 RichardIV, А еще Chromium и MiniBlink это уже тяжёлая артиллерия Нет, тяжелая артиллерия это полноценный браузер через WebDriver )) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2019, 09:45 |
|
||
|
Парсинг сайтов на дельфи
|
|||
|---|---|---|---|
|
#18+
В общем нашел, от чего сайт не хочет парсится - там в коде есть блок на проверку версии браузера. Скажите, а есть способ (чтобы без перебора каждой строки в файле) удалить из html файла все ссылки и скрипты? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2019, 16:48 |
|
||
|
Парсинг сайтов на дельфи
|
|||
|---|---|---|---|
|
#18+
RichardIVа есть способ (чтобы без перебора каждой строки в файле) Удалить кусок содержимого файла не читая содержимое файла? Нет, обломись. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2019, 17:38 |
|
||
|
Парсинг сайтов на дельфи
|
|||
|---|---|---|---|
|
#18+
RichardIV В общем нашел, от чего сайт не хочет парсится - там в коде есть блок на проверку версии браузера. Дат не факт, что он у тебя дальше заработает на встроенном в дельфи ишаке. Может без осла как-то можно распарсить по-старинке? Что за сайт хоть? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.12.2019, 06:39 |
|
||
|
|
start [/forum/topic.php?fid=58&msg=39907661&tid=2038732]: |
0ms |
get settings: |
7ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
244ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
37ms |
get tp. blocked users: |
1ms |
| others: | 224ms |
| total: | 544ms |
| 0 / 0 |
