|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, Короче, твоя задача и топик интересны только молодняку. Это не кейс энтерпрайза. Мысль понял? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 12:09 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonВот прикинь. Владельцы игорного бизнеса (покер клубы, казино и лотереи в том числе) - обычно выходцы из преступного мира. И тут вдруг (!) внезапно они узнают что какой-то пиздюк (я говорю не о тебе а просто образно) на публичном форуме хачит и ломает их бизнес. И делает публичной их подноготную. Тут есть разные варианты развития событий. До тех пор пока ты не создал им проблем - ты никому не нужен. Но если... короче думай сам. ну ты прикалываешься)) хакать -это куда то проникать,что то ломать,обходить защиту и тд я беру билеты с их сайта,которые в свободном доступе и заношу их в базу,провожу аналитику и покупаю нужные мне билеты-где тут нарушение? это тоже самое если я назову тебя хакером- когда ты по арбузу стучишь в магазине))) проблемы сейчас можно огребсти просто возвращаясь домой ,если твоя рожа не понравится ппс или у них не добит план по 228 и что теперь из дома не выходить?)) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 13:36 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
PetroNotC Sharpasv79, Короче, твоя задача и топик интересны только молодняку. Это не кейс энтерпрайза. Мысль понял? задача выполнена) тему можно закрывать ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 13:41 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79это тоже самое если я назову тебя хакером- когда ты по арбузу стучишь в магазине))) Представь как щас напряглись плечевые мышцы у админов которые смотрят на лог.. где твой айпишник и ты балуешся. Совая туда нелепицу. Вот чо они щас думают? Хакир? Не? ХЗ... но лучше на всяк случай доложить куда надо ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 14:38 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonasv79это тоже самое если я назову тебя хакером- когда ты по арбузу стучишь в магазине))) Представь как щас напряглись плечевые мышцы у админов которые смотрят на лог.. где твой айпишник и ты балуешся. Совая туда нелепицу. Вот чо они щас думают? Хакир? Не? ХЗ... но лучше на всяк случай доложить куда надо и что они там видят?человек нажимает кнопку обновить-ищет билет какой ему хочется я ж туда ничего не сую в том то и дело) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 16:39 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
Кстати вот подумай как отличить мышко-клик человека от долбёжки бота. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 17:34 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonКстати вот подумай как отличить мышко-клик человека от долбёжки бота. интервалы запроса будут постоянные ,а если жадый то и отчень короткие это легко обходится рандомным таймаутом майтон не там ты копаешь)если бы эти ребята хотели ограничить доступ к билетом - они бы что нибудь придумали но они не видят угрозы в том,ЧТО Кто то посмотрит на комбинации 10 000 билетов-бабки в ларьках продают у них там в каждоый пачке по 1000 билетов ,А таких пачек коробки -тоже ее в хакерши записывать будем или брать только слепых ?))) и я могу зайти в такой ларек и пересмотреть все билеты и купить такой какой хочу ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 18:19 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
Ну ОК. Сообщи там. Когда выиграешь лям. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 18:28 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonНу ОК. Сообщи там. Когда выиграешь лям. да не выйграть там такие деньги эти ребята дураки чтоли по твоему)) программа дает им комбинацию с минимально возможными для них потерями - бывает так,когда куплено много билетов -невозможно не отдать крупный выйгрышь - но это до 100000 р,А все остальное фейки-те кто там по 300 млн и выше брали ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 18:31 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79 Собственно ворпос существуют ли инструменты ,как распарсить HTML страницу в динамичным контентом? jsoup не умеет Помнится, играл я как раз в эту лоторею пару лет назад. Кстати, первый раз в жизни играл в лоторею, потому что не верил в свой успех в азартных играх такого профиля. Так вот выбрал перебором и купил 10 билетов по 100 руб, оканчивающихся на повторяющиеся цифры: xxx11, xxx22, ... ,xxx99 К моему удивлению все таки один билет выиграл, но смешную сумму в 100 руб. Номер выигрышного билета оканчивался на xxx66. Даже поленился отоварить выигрышный билетик, хотя может быть, просто надо было на выигранные 100 руб купить еще один билет, но я не стал играть в азартные игры с дъяволом :) А теперь по теме данного обсуждения. Не проще ли воспользоваться для вашей задачи проф. тулзом типа aparser ? Это топовый и самый скоростной парсер, который я когда-либо встречал, в первую очередь за счет своей многопоточности. Возможны сотни и даже тысячи одновременных потоков, чего не скажешь о браузерных тулзах типа Зенки и BAS, и при этом от вас НЕ требуются скилзы многопоточного программирования. Он всего за несколько минут может распарсить тысячи ваших лоторейных билетов. При этом в нем есть масса удобных возможностей по разработке собственных парсеров современных динамических сайтов, сессии и кукисы в нем поддерживаются автоматически. Свои собственные custom парсеры можно разрабатывать на JavaScript, причем предоставляется богатая библиотека API для создания концентрированной кастом логики именно только вашего use case парсера, многие вспомогательные сервисы уже разработаны до вас - огромная экономия вашего времени. А по поводу скорости доступа к базе данных, попробуйте для начала отследить сколько запросов в нее уходит, посмотрите узкие места (например, в DB2 можно посмотреть через db2top), может быть, нужно подкрутить буферные пулы и индексы, перенести базу данных на скоростную SSD, подключить к Hibernate Redis кэш, использовать pipe подключение вместо TCP, и многое другое. Но как уже писали для простой задачи - это overkill, хотя с другой стороны если вы собираетесь со временем наворотить там много всего интересного, то Hibernate - очень приятный и удобный выбор при правильном использовании. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.06.2020, 13:53 |
|
|
start [/forum/topic.php?fid=59&msg=39881720&tid=2120787]: |
0ms |
get settings: |
28ms |
get forum list: |
16ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
66ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
208ms |
get tp. blocked users: |
1ms |
others: | 320ms |
total: | 663ms |
0 / 0 |