ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Парсер web. Начало
34 сообщений из 34, показаны все 2 страниц
  все  
Парсер web. Начало
    #39564509
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
Добрый день.

Друзья, никогда не работал с вебом из-под Delphi. Подскажите с чего начать изучение (желательно на русском мануалы).
Задача стоит зайти на определенный сайт, залогиниться на нем и считать какую либо информацию. Что можете посоветовать для изучения. От обилия информации рябит в глазах, но понимаю что читаю не то...
...
Рейтинг: 0 / 0
05.12.2017, 15:56
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564511
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
Добавлю, среда Embarcadero XE5
...
Рейтинг: 0 / 0
05.12.2017, 15:57
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564518
чччД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
чччД
Участник
Леонов ЮрийДобрый день.

Друзья, никогда не работал с вебом из-под Delphi. Подскажите с чего начать изучение (желательно на русском мануалы).
Задача стоит зайти на определенный сайт, залогиниться на нем и считать какую либо информацию. Что можете посоветовать для изучения. От обилия информации рябит в глазах, но понимаю что читаю не то...

Рекомендую начать с изучения библиотеки CachedBuffers.
Затем изучить экстремально быстрый менеджер памяти BrainMM.
Потом сам поймешь, куда двигаться.
...
Рейтинг: 0 / 0
05.12.2017, 16:02
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564531
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
Леонов ЮрийЗадача стоит зайти на определенный сайт, залогиниться на нем и считать какую либо информацию.
Загрузи этот сайт (WinInet, WinHttp, Indy, ... на выбор) и дальше разбирайся в том, что загрузил. Или если что-то более высокоуровнеое надо - чтобы по HTML-формочкам бегать - тогда не посоветую.
...
Рейтинг: 0 / 0
05.12.2017, 16:18
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564535
Kazantsev Alexey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Kazantsev Alexey
Участник
чччД,

Злой ты
...
Рейтинг: 0 / 0
05.12.2017, 16:20
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564542
BlackEric
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BlackEric
Участник
Первые же ссылки из гугла по запросу "Delphi login to website and get information"

Или нсть хорошее видео, но для C#:
YouTube Video
YouTube Video
...
Рейтинг: 0 / 0
05.12.2017, 16:22
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564585
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vladimir Baskakov
Участник
я бы из делфей запускал вот это консольное
http://phantomjs.org/

о нем
https://habrahabr.ru/post/116789/

и забирал бы уже из него.
...
Рейтинг: 0 / 0
05.12.2017, 17:27
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564590
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
чччДРекомендую начать с изучения библиотеки CachedBuffers.
Затем изучить экстремально быстрый менеджер памяти BrainMM.
Потом сам поймешь, куда двигаться.

Я так понял ты и есть создатель CachedBuffers? Почитал, поржал...
Двигаться буду наверное в другую сторону...
...
Рейтинг: 0 / 0
05.12.2017, 17:32
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564593
чччД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
чччД
Участник
Леонов ЮрийчччДРекомендую начать с изучения библиотеки CachedBuffers.
Затем изучить экстремально быстрый менеджер памяти BrainMM.
Потом сам поймешь, куда двигаться.

Я так понял ты и есть создатель CachedBuffers? Почитал, поржал...
Двигаться буду наверное в другую сторону...
Хочешь идти длинным путем? Ну-ну.
...
Рейтинг: 0 / 0
05.12.2017, 17:36
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564594
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
Vladimir Baskakov,

немного не понял причем тут явовский код?
мне нужны статьи или примеры для новичка, чтобы понять саму кухню
...
Рейтинг: 0 / 0
05.12.2017, 17:37
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564598
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Леонов Юриймне нужны статьи или примеры для новичка, чтобы понять саму кухню

Примеры в штатной поставке Дельфи тебя не устроили чем?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
05.12.2017, 17:48
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564599
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vladimir Baskakov
Участник
Леонов Юрий

При том, что сайты сейчас динамические, формируются отчасти на лету, в браузере, динамически чегой-то подгружая.

И чтобы с этим как то жить, придумали браузер без окошка, с которым разговаривают, передавая команды на javascript . Мало просто загрузить сайт, не(всегда)достаточно. Почти всегда недостаточно.

И готового делфи кода, который нормально все это проделает - нет. Но есть сторонняя консольная софтина. Работать с ней в конечном итоге скорее всего будет проще, если сайт мал-мало сложный и насыщенный.
...
Рейтинг: 0 / 0
05.12.2017, 17:49
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564605
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
Vladimir Baskakov,

Я понял мысль. Спасибо, буду смотреть эту тему
...
Рейтинг: 0 / 0
05.12.2017, 17:53
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564608
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vladimir Baskakov
Участник
Еще можно поговорить с интернет-эксплорером. вежливо, через его Com - интерфейс

 


Код: pascal
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
OLE с Internet Explorer


uses comobj;


 procedure OpenIE(aURL: string);
 var
   IE:        Variant;
   WinHanlde: HWnd;
 begin
   if (VarIsEmpty(IE)) then
   begin
     IE         := CreateOleObject('InternetExplorer.Application');
     IE.Visible := True;
     IE.Navigate(aURL);
   end
   else
   begin
     WinHanlde := FindWindow('IEFrame', nil);
     if (0 <> WinHanlde) then
     begin
       IE.Navigate(aURL);
       SetForegroundWindow(WinHanlde);
     end
     else
       ShowMessage('Can''t open IE !');
   end;
 end;


 procedure TForm1.Button1Click(Sender: TObject);
 begin
   OpenIE('http://www.swissdelphicenter.ch');
 end;


...
Рейтинг: 0 / 0
05.12.2017, 17:56
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564611
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
Dimitry Sibiryakov,

у меня для XE5 примеры отсутствуют
...
Рейтинг: 0 / 0
05.12.2017, 17:57
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564615
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
чччД,

а нафига мне эти читалки? Примером можешь обосновать?
...
Рейтинг: 0 / 0
05.12.2017, 17:59
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564618
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
Vladimir Baskakov,

мне желательно все делать в фоне, без визуального посещения сайта
...
Рейтинг: 0 / 0
05.12.2017, 18:00
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564623
чччД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
чччД
Участник
Леонов ЮрийчччД,

а нафига мне эти читалки? Примером можешь обосновать?
Быстрые очень.
...
Рейтинг: 0 / 0
05.12.2017, 18:03
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564624
rgreat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rgreat
Участник
Леонов ЮрийVladimir Baskakov,

мне желательно все делать в фоне, без визуального посещения сайтаСделай TWebBrowser невидимым.
...
Рейтинг: 0 / 0
05.12.2017, 18:04
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564625
rgreat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rgreat
Участник
Если хочешь ручками - засниффери траффик с сайта во время работы через браузер.

Однако если там HTTPS то просто не отделаешься.
...
Рейтинг: 0 / 0
05.12.2017, 18:05
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564650
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
чччДЛеонов ЮрийчччД,

а нафига мне эти читалки? Примером можешь обосновать?
Быстрые очень.

Шикарное обоснование... Я ж не про ипподром спрашивал?
Приведи пример использования этой библиотеки для поставленной задачи
...
Рейтинг: 0 / 0
05.12.2017, 18:25
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564652
rgreat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rgreat
Участник
Да забей. У него сегодня особо-троллячье настроение.
...
Рейтинг: 0 / 0
05.12.2017, 18:26
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564670
Фотография Док
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Док
Участник
Kazantsev AlexeyчччД,

Злой ты
Это детишкиу папы стащили ник и балуются тут вовсю
...
Рейтинг: 0 / 0
05.12.2017, 18:40
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564725
fd00ch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fd00ch
Участник
чччДРекомендую начать с изучения библиотеки CachedBuffers.
Затем изучить экстремально быстрый менеджер памяти BrainMM.
Потом сам поймешь, куда двигаться.дальше, в принципе, уже некуда ¯\_(ツ)_/¯
...
Рейтинг: 0 / 0
05.12.2017, 21:04
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564731
чччД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
чччД
Участник
Я бог, а вы холопы.
...
Рейтинг: 0 / 0
05.12.2017, 21:57
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564732
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
чччДЯ бог, а вы холопы.не холопы, а рабы. божьи !
...
Рейтинг: 0 / 0
05.12.2017, 22:01
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564734
rgreat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rgreat
Участник
Рыбы бажьи.
...
Рейтинг: 0 / 0
05.12.2017, 22:06
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564740
чччД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
чччД
Участник
чччДЯ бог, а вы холопы.
Кто-то пытается подмочить безупречность моей репутации. Методом анонимного клонирования.
...
Рейтинг: 0 / 0
05.12.2017, 22:49
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564810
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
чччДчччДЯ бог, а вы холопы.
Кто-то пытается подмочить безупречность моей репутации. Методом анонимного клонирования.
кто-то перекрыл виртуальный метод
...
Рейтинг: 0 / 0
06.12.2017, 06:56
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564827
vavan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vavan
Участник
чччДКто-то пытается подмочить безупречность моей репутации. Методом анонимного клонированиятак про brainwashed буфферз не ты отмочил?
...
Рейтинг: 0 / 0
06.12.2017, 09:01
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564828
Фотография Док
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Док
Участник
чччДКто-то пытается подмочить безупречность моей репутации. Методом анонимного клонирования.
потому и существует презерватив авторизация
...
Рейтинг: 0 / 0
06.12.2017, 09:03
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564872
Vladimir Baskakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vladimir Baskakov
Участник
Леонов ЮрийVladimir Baskakov,

мне желательно все делать в фоне, без визуального посещения сайта

А эксплорер может и не показывать свое лицо. Но памяти отожрет столько же и будет виден в списке процессов.

Опять же, как оно будет работать если пользователь откроет его сам, как видимый будет дружить или воевать с фоновым - это вопрос, потому я и начал с идеи фантома.
но вообще конечно надо смотреть, на некоторых сайтах динамики нет, и можно просто скачивать. но что есть - куки например? Смотря что по конкретике надо. опять же - должно ли работать с прокси, или и так сойдет? вопросов немного больше одного.
просто для ознакомления, еще один матерьяльчик. для подумать.
https://habrahabr.ru/post/253439/

Не факт, что делфи - самая удобная среда для решения этой задачи, по большому счету; но возможно терпимая.
ну или гибрид - на делфи - интерфейс, а исполняющую среду - на приделанном раби
https://www.ruby-forum.com/topic/174150

в принципе компонент twebbrowser дает доступ к интерфейсу эксплорера. который естественно умеет и джаваскрипт с аджаксом, и куки....
Но тут проблема. Какой у юзера поставлен эксплорер и как там начеканы галочки. Так что, вроде компонент, вроде бы пользоваться можно, но есть особенности.....

То есть, все равно ожидается велосипедик на квадратных колесиках. И как его сделать прямо - неочевидно, нужны доп вводные.

Приятного кодинга)))
...
Рейтинг: 0 / 0
06.12.2017, 10:27
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564886
Василий №2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Василий №2
Гость
Для начала простой вариант - поснифать http трафик из браузера, вычленить запросы, потом выполнить их через Indy.
Но эра простых веб запросов на ресурсы, для того не предназначенные, практически ушла. Скрипты, фреймы, куки, ssl - попытавшись все это реализовать, можно потратить годы и сделать целый браузер. Так что если простой способ не прошел, надо просто оседлать уже готовый движок браузера. Это м.б. фантом, или ИЕ, или Хром - не суть.
...
Рейтинг: 0 / 0
06.12.2017, 10:48
| Ответить | Цитировать | Написать  
Парсер web. Начало
    #39564924
Леонов Юрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Леонов Юрий
Участник
Vladimir Baskakov,

Спасибо большое, буду разбираться
...
Рейтинг: 0 / 0
06.12.2017, 11:43
| Ответить | Цитировать | Написать  
34 сообщений из 34, показаны все 2 страниц
  все  
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Парсер web. Начало
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=58&tid=2041469]:
 0ms
get settings:
 8ms
get forum list:
 9ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 169ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 51ms
get tp. blocked users:
 1ms
others: 208ms
total:  462ms
созд. / загр.: 462ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]