|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
Собственно ворпос существуют ли инструменты ,как распарсить HTML страницу в динамичным контентом? jsoup не умеет сама страница https://www.stoloto.ru/ruslotto/game?int=right&lastdraw код страницы на картинке мне нужено достать id билета и цифры из таблиц если я делаю это обычным jsoup парсером -я получаю пустоту Код: java 1. 2. 3. 4.
получаем на выходе Код: html 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11.
естественно значений нет - так как они вставляются туда скриптом вот сам код изнутри если кто то делал подобные вещи подскажите как это сделать в гуглах на эту тему ничего толкового нет ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 10:54 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
в любом браузере есть интструменты разработчика. Посмотри, какие запросы идут на сервер, и выполни их сам. Скорее всего там будет json контент, который тебе и нужен ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:01 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79естественно значений нет - так как они вставляются туда скриптомкод js на разные события (перемещение мышки) изменяет DOM. Поэтому если не идет инфа на сервер, то достать невозможно. Ну или очень сложно. Поэтому сам не делай динамичные сайты (одного окна). ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:09 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
ivanraв любом браузере есть интструменты разработчика. Посмотри, какие запросы идут на сервер, и выполни их сам. Скорее всего там будет json контент, который тебе и нужен там запросы идут постоянно вот при обновлении билетов выловил вот этот запрос https://s.stoloto.ru/service/bingo/ruslotto/change?callback=jQuery171010123521258160095_1571660062717&numbersToChange=%5B%7B%22barCode%22%3A%22999847030297%22%7D%2C%7B%22barCode%22%3A%22999847451294%22%7D%2C%7B%22barCode%22%3A%22999848565640%22%7D%5D&_=1571731633691]https://s.stoloto.ru/service/bingo/ruslotto/change?callback=jQuery171010123521258160095_1571660062717&numbersToChange=[{"barCode":"999847030297"},{"barCode":"999847451294"},{"barCode":"999848565640"}]&_=1571731633691 который возвращает вот такой json Код: html 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:13 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
PetroNotC Sharpasv79естественно значений нет - так как они вставляются туда скриптомкод js на разные события (перемещение мышки) изменяет DOM. Поэтому если не идет инфа на сервер, то достать невозможно. Ну или очень сложно. Поэтому сам не делай динамичные сайты (одного окна). В данном случае номер билета врядли генерится на клиенте, он 100% приходит с сервера, либо в json запросе либо в теге скрипт. Поэтому достаточно узнать где он лжеит и просто выдрать оттуда ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:14 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
PetroNotC Sharpasv79естественно значений нет - так как они вставляются туда скриптомкод js на разные события (перемещение мышки) изменяет DOM. Поэтому если не идет инфа на сервер, то достать невозможно. Ну или очень сложно. Поэтому сам не делай динамичные сайты (одного окна). ну как то же эти цифры туда записываются? значит все таки с сервера в виде json прилетают не могу найти этот запрос в куче остальных ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:14 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79не могу найти этот запрос в куче остальныхэто самое простое. Ищи на F12 ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:16 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
забыл никPetroNotC Sharpпропущено... код js на разные события (перемещение мышки) изменяет DOM. Поэтому если не идет инфа на сервер, то достать невозможно. Ну или очень сложно. Поэтому сам не делай динамичные сайты (одного окна). В данном случае номер билета врядли генерится на клиенте, он 100% приходит с сервера, либо в json запросе либо в теге скрипт. Поэтому достаточно узнать где он лжеит и просто выдрать оттуда да я думаю это так и есть-а вот как узнать?) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:16 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, Хром, F12 - найти где в коде изменяется div - Elements - ПКМ на div - Break on - Attribute modifications ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:18 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79как узнать?работать за JS прогера. Ты же не хотел всего месяц назад))) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:19 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
нашел там json Код: xml 1.
я так понял прилетает он после вот этого запроса https://s.stoloto.ru/service/bingo/ruslotto/change?callback=jQuery171010123521258160095_1571660062718&numbersToChange=%5B%7B%22barCode%22%3A%22999847030297%22%7D%2C%7B%22barCode%22%3A%22999847451294%22%7D%2C%7B%22barCode%22%3A%22999848565640%22%7D%5D&_=1571731634332]https://s.stoloto.ru/service/bingo/ruslotto/change?callback=jQuery171010123521258160095_1571660062718&numbersToChange=[{"barCode":"999847030297"},{"barCode":"999847451294"},{"barCode":"999848565640"}]&_=1571731634332 в браузере этот запрос ничего не дает вот как выудить этот json? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:31 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, надо смотреть тип запроса, скорее всего это POST. Плюс, скорее всего, куки. Так что следующий этап - SoapUI и отладка всех этих запросов. Есть еще вариант - поуправлять браузером и брать из него готовое. Но это в ветку C# ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:36 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79вот как выудить этот json?повторить запрос уже от себя? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:41 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, Ты копай давай. Что ты описываешь действия твоей руки)). ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:43 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
да вообщем нашел я запрос он отдает мне json вот запрос https://s.stoloto.ru/service/bingo/ruslotto/change?callback=jQuery171010123521258160095_1571660062730&numbersToChange=%5B%7B%22barCode%22%3A%22999847030297%22%7D%2C%7B%22barCode%22%3A%22999847451294%22%7D%2C%7B%22barCode%22%3A%22999848565640%22%7D%5D&_=1571733298168]https://s.stoloto.ru/service/bingo/ruslotto/change?callback=jQuery171010123521258160095_1571660062730&numbersToChange=[{"barCode":"999847030297"},{"barCode":"999847451294"},{"barCode":"999848565640"}]&_=1571733298168 причем самое интересное я думал он будет давать те же билеты,но нет-дает всегда новые но почему то запрос нужно отправлять два раза сначала приходит статус -pending еще раз запрос отправляешь -прилетает json с билетами вообщем теперь уже можно это дело автоматизировать ) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:49 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
ivanraasv79, надо смотреть тип запроса, скорее всего это POST. Плюс, скорее всего, куки. Так что следующий этап - SoapUI и отладка всех этих запросов. Есть еще вариант - поуправлять браузером и брать из него готовое. Но это в ветку C# не нормально - нашел я этот запрос,получаю json плохо что запрос нужно два раза делать пс.я вот думаю я по шапке то не получу от СТОЛОТО? ведь я могу их сервер положить если сделаю выборку например 100 000 билетов?) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 11:51 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, Конечно вмешательство незаконно. За тобой уже выехали. Удачи! ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 12:00 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
PetroNotC Sharp, ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 12:07 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
phantomjs предлагали? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 12:15 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
olegeos, неа,да уже и не надо я нашел запрос -получаю json в котром все что мне надо но есть одна проблема если я вставлю этот заппрос в браузер - то получаю норм ответ если через постмен или java code то получаю стус-еррор ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 12:19 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79если я вставлю этот заппрос в браузер - то получаю норм ответ если через постмен или java code то получаю стус-еррор Посмотри в браузере - наверняка там еще заголовки/куки передаются ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 12:28 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
ivanraasv79если я вставлю этот заппрос в браузер - то получаю норм ответ если через постмен или java code то получаю стус-еррор Посмотри в браузере - наверняка там еще заголовки/куки передаются передается вот оно Код: html 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19.
и что делать ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 12:34 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79ivanraпропущено... Посмотри в браузере - наверняка там еще заголовки/куки передаются передается вот оно Код: html 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19.
и что делать Очевидно передавать те же заголовки и куки. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 12:37 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
можно взять готовый куки хендлер, но для тебя скорее всего важен только SESSION - его можно обработать и вручную. Пока можешь просто скопировать куки-заголовок из браузера в код и посмотреть, что этого достаточно (браузер при этом не закрывай) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 12:44 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
ivanraможно взять готовый куки хендлер, но для тебя скорее всего важен только SESSION - его можно обработать и вручную. Пока можешь просто скопировать куки-заголовок из браузера в код и посмотреть, что этого достаточно (браузер при этом не закрывай) спсибо дружище) все заработало ) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 13:03 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
если не хочется упарывать во всех уже браузерах есть копи эс curl Затем сюда https://curl.trillworks.com/ Внимание куки все равно просрочатся. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.10.2019, 18:18 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
llemingесли не хочется упарывать во всех уже браузерах есть копи эс curl Затем сюда https://curl.trillworks.com/ Внимание куки все равно просрочатся. базу я уже заполнил- 200 тысяч уникальных билетов) моя задача сейчас найти запрос который кладет нужные мне билеты в корзину пока никак не смог идентифицировать этот запрос ,суко уже случайно 2 билета купил) ... |
|||
:
Нравится:
Не нравится:
|
|||
23.10.2019, 18:38 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
нашел кнопку хрен его знает надо как то сделать такую же Код: html 1. 2. 3. 4. 5. 6.
... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 09:39 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
Давай рутрекер парсить. Магнитики нужны чо. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 10:33 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79нашел кнопку хрен его знает надо как то сделать такую же Код: html 1. 2. 3. 4. 5. 6.
Вот изврат то. Смешивание логики и представления. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 10:46 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
В 2000х у меня тоже был выбор. Идти в фулстек или в классический back-end. Моё слабое сердце не выдержало UI разработки. Посмотрел я как ребятя костылят велосипеды. Особенно плохо было с браузерами. Сколько браузеров столько и if-ов в коде. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:00 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
mayton, Ты верно решил). Фронт студенты лабают. Еще прикольно что 404 то есть не загрузка всей страницы с кодом не останавливает программу в кавычках. И на экран варнинг не выводится. Что сразу исключает из корпоратива и ентерпрайза. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:11 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
PetroNotC Sharp, короче перехватил я запрос этот два раза он отсылается выглядит не очень понятно,помимо куки мне надо вот это передать Код: java 1. 2. 3. 4. 5. 6. 7.
... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:25 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, ох чет я сомневаюсь насчет твоей этой активности. Ребята из Лото не вломят ли тебе пилюлей? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:27 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
я сформировал запрос Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14.
получаю сначала норм ответ pending а потом Код: xml 1.
но чего то не добавляется ничо в корзину ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:38 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonasv79, ох чет я сомневаюсь насчет твоей этой активности. Ребята из Лото не вломят ли тебе пилюлей? за что? все в отктром доступе я же не сервер ломаю,а хочу купить билеты,которые мой апликейшн выбрал) ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:39 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, Увы. У них не публичное api. Официально ты нарушаешь закон. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:50 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
PetroNotC Sharpasv79, Увы. У них не публичное api. Официально ты нарушаешь закон. всмысле нарушаю? я беру запросы из браузера,которые завуалированы под кнопки в чем разница -нажал я кнопку или запрос отправил руками на сервер я же не меняю какие то данные ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:52 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, Представь, что есть дом, калитка со звонком. Открыто. Ты зашел в открытую дверь и гуляешь и "нюхаешь цветы"))). Не законно. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:52 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79в чем разница -нажал я кнопку или запрос отправил руками на серверприменил отмычку. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:53 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79maytonasv79, ох чет я сомневаюсь насчет твоей этой активности. Ребята из Лото не вломят ли тебе пилюлей? за что? все в отктром доступе я же не сервер ломаю,а хочу купить билеты,которые мой апликейшн выбрал) Тут понимаешь. Уголовное право на это смотрит так. Ты. Стас Иванов. С какой целью на улицу пошел с ножиком? Хлебушек порезать? Или может ты задумал покушение на убийство? С какими намерениями ты парсил сайт? Улавливаешь? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:54 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonasv79пропущено... за что? все в отктром доступе я же не сервер ломаю,а хочу купить билеты,которые мой апликейшн выбрал) Тут понимаешь. Уголовное право на это смотрит так. Ты. Стас Иванов. С какой целью на улицу пошел с ножиком? Хлебушек порезать? Или может ты задумал покушение на убийство? С какими намерениями ты парсил сайт? Улавливаешь? ну вы даете)) я могу тоже самое делать на бумажке- обновлять билеты -записывать комбинации-- потом так же в ручную найти нужные мне билеты) ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:56 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
PetroNotC Sharpasv79, Представь, что есть дом, калитка со звонком. Открыто. Ты зашел в открытую дверь и гуляешь и "нюхаешь цветы"))). Не законно. все верно -защел в калитку=залез в базу данных а если ты нюхаешь цветы на общественной улице -это твое право я же не лезу на сервер все в рамках их же запросов - просто без браузера ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:57 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79maytonпропущено... Тут понимаешь. Уголовное право на это смотрит так. Ты. Стас Иванов. С какой целью на улицу пошел с ножиком? Хлебушек порезать? Или может ты задумал покушение на убийство? С какими намерениями ты парсил сайт? Улавливаешь? ну вы даете)) я могу тоже самое делать на бумажке- обновлять билеты -записывать комбинации-- потом так же в ручную найти нужные мне билеты) Ну вот и делай на бумажке. По крайней мере с точки зрения преступления сложнее будет доказать. И есть еще градация. Преступление с испольованием тех-средств. Как-то автомобилей. Электро-инструмента. И т.п. Статья более тяжелая. И больше лет дают. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:58 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79просто без браузерав этом дело. Это их ИС и их программное обеспечение. У банка тоже есть банк-клиент. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 11:59 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
Вообще, ты эмулировал браузер)) ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 12:01 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
PetroNotC SharpВообще, ты эмулировал браузер)) лучше скажи почему не кладется билет в корзину?) ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 12:08 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
Включи в браузере режим девелопера. И добавь в корзину средствами UI. Посмотри какие сервисные методы работают и что возвращают. Тут никто кроме тебя не будет разбираться. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 12:11 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
mayton, так делаю там кнопка которая отправляет пост запрос я вроде все так же прописал - и даже приходит ответ от сервера типо ОК но вот в корзине то пусто ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 12:22 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, Так не бывает. Значит не все повторил со старта сессии. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 12:31 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, Не один запрос, а все запросы за сеанс с куками. Это если в js проверок нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 12:33 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79mayton, так делаю там кнопка которая отправляет пост запрос я вроде все так же прописал - и даже приходит ответ от сервера типо ОК но вот в корзине то пусто Подожди. Ты же наполнял корзину. Что изменилось с тех пор как она перестала наполнятся. P.S. Ну хитёёёр... ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 13:44 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonasv79mayton, так делаю там кнопка которая отправляет пост запрос я вроде все так же прописал - и даже приходит ответ от сервера типо ОК но вот в корзине то пусто Подожди. Ты же наполнял корзину. Что изменилось с тех пор как она перестала наполнятся. P.S. Ну хитёёёр... не я не корзину наполнял- а базу я эмулирую нажатие кнопки обновить билеты - получаю 10 билетов-заношу их в базу-обновляю -заношу пропустил через фильтр - у меня есть номера билетов и комбинации-все что нужно каким то образом положить их в корзину ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 15:01 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
PetroNotC Sharpasv79, Не один запрос, а все запросы за сеанс с куками. Это если в js проверок нет. там html форма Код: java 1. 2. 3. 4. 5.
я отправляю все как и тут ,кроме вот этоого скрипта - я не могу вообще его найти Код: html 1.
мне приходит нормальный json Код: html 1.
а когда второй раз посылаю запрос ( да у них почему то два раза запрос отпрааляется) выходит вот такой json Код: html 1.
а в корзине пусто-потому что туда судя по всему не лег никакой итем -почему -понятия не имею я отловил этот запрос в девтуле -когда кнопку жмешь все куки так же отправляю не пойму в чем прикол ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 15:16 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
вот эти два запроса Post уходят на сервер ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 15:22 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
запросы add вот они изнутри Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39.
... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 15:28 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
а вот мои запрос Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45.
... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 15:30 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, шикарно. Так можно и тебе пароль поменять. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 15:35 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
mayton, там авторизация через телефон ,врядли получится) а вот по поводу запроса -есть какие то идеи? как мне мои билеты в корзину положить? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 15:39 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79не могу вообще его найти Код: html 1.
как так? В фоксе есть Консоль браузера. Туда идут ошибки. Если там не ругается на отсутствии функции, значит ты плохо искал. Ищи. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 15:48 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, чего то много данных отправляешь. У тебя на форме 3 инпута и 1 кнопка. Откуда взялись Код: javascript 1. 2. 3.
Ну и на куки с гугль аналитикой и яндекс метриками можно забить, тут главное SESSON ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 16:18 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
PetroNotC Sharpasv79не могу вообще его найти Код: html 1.
как так? В фоксе есть Консоль браузера. Туда идут ошибки. Если там не ругается на отсутствии функции, значит ты плохо искал. Ищи. запрос то я не в браузере эмулирую а в джава коде там ничего не ругается) ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 16:19 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, Странный ты. Ты сказал не нашел в js функцию АБС. Дак ищи. Ты должен знать отладчиком что она делает. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 16:21 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
какая то жесть хибер компонует лист из 10000 тысяч объектов уже 10 минут это нормально вообще?) командой repo.findAll(); ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 16:22 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79какая то жесть хибер компонует лист из 10000 тысяч объектов уже 10 минут это нормально вообще?) командой repo.findAll();а хибер для чего вообще служит? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 16:23 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
PetroNotC Sharpasv79какая то жесть хибер компонует лист из 10000 тысяч объектов уже 10 минут это нормально вообще?) командой repo.findAll();а хибер для чего вообще служит? всмысле для чего- облегачает роботу с базами данных,представляет записи в виде сущностей что то печаль какая то выходит - неужели хибер не может переварить 10.500 сущностей ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 16:29 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, Не можешь запомнить "хибер для crud"? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 16:38 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
ппц хибер не может выбрать 10 тысяч сущностей?)) серьезно Код: java 1.
тупо вешает на глушняк все) может проблема в том что у каждого тикета еще лист из 30 номеров и это получается уже 300000 записей ,хрен его знает так база работает,по одному нормально тикеты выдергиваются что за печаль беда то ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 16:38 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79ппц хибер не может выбрать 10 тысяч сущностей?)) серьезно Код: java 1.
тупо вешает на глушняк все) может проблема в том что у каждого тикета еще лист из 30 номеров и это получается уже 300000 записей ,хрен его знает так база работает,по одному нормально тикеты выдергиваются что за печаль беда то Где-то недалеко вадя горько плачет ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 16:42 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
PetroNotC Sharpasv79, Не можешь запомнить "хибер для crud"? а что по твоему select * from table? не круд разве? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 16:45 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79PetroNotC Sharpasv79, Не можешь запомнить "хибер для crud"? а что по твоему select * from table? не круд разве?нет. Звезда это говнокод ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 16:47 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, 10000 записей это ни о чем для хибера. Если конечно нет косяков в меппинге ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 16:50 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
и если достаточно памяти у JVM ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 16:55 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79ппц хибер не может выбрать 10 тысяч сущностей?)) серьезно Код: java 1.
тупо вешает на глушняк все) может проблема в том что у каждого тикета еще лист из 30 номеров и это получается уже 300000 записей ,хрен его знает так база работает,по одному нормально тикеты выдергиваются что за печаль беда то Еще один гвоздь в крышку гроба всех Хибера Чтоб ты делал в отделе дата-аналитики? Там датасеты начинаются от миллионов. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:03 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsevи если достаточно памяти у JVM если бы не достаточно было -ошибка бы вывалилась вот сама сущность Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9.
если фетч стоит lazy я нормально выбираю все,но потом не могу получить листы с nambers если фетч ставлю eger то все привет-виснет на глушняк ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:05 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
ivanraasv79, 10000 записей это ни о чем для хибера. Если конечно нет косяков в меппинге да косяков то нет ,проблема в фетче я так понимаю ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:06 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
забыл никГде-то недалеко вадя горько плачета чё мне плакать? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:07 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
Вот забегая вперед. Тебе repo.findAll() зачем нужен? Тоесть что ты будешь делать потом со всей коллекцией всех своих билетов? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:09 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonВот забегая вперед. Тебе repo.findAll() зачем нужен? Тоесть что ты будешь делать потом со всей коллекцией всех своих билетов? класть их номера в лист и выявлять какой процент каждой цифры поставил фетч лейзи вытянул билеты сейчас уже минут 5 пытаюсь достать цифры -это 300000 записей где то даже поболе не пойму толи комп дохлый толи что ,ну не должно так долго это быть явно же ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:14 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
облегчил хиберу задачу-взять все тикеты и у первых 100 тикетов выбрать номера и положить их в лист 3 минуты делал) итого на 10800 воросов (325000 записей) нужно минут 40))это чо за прикол ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:21 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, foreign key - то в базе есть? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:22 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
ivanraasv79, foreign key - то в базе есть? есть как же без него ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:27 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, если хочется жадно выбрать все 10000 записей с вложенными элементами, то в findAll надо написать селект с джойном, типа такого Код: java 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:34 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79облегчил хиберу задачу-взять все тикеты и у первых 100 тикетов выбрать номера и положить их в лист 3 минуты делал) итого на 10800 воросов (325000 записей) нужно минут 40))это чо за приколдля базы эти размеры ни о чём... ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:42 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
вадяasv79облегчил хиберу задачу-взять все тикеты и у первых 100 тикетов выбрать номера и положить их в лист 3 минуты делал) итого на 10800 воросов (325000 записей) нужно минут 40))это чо за приколдля базы эти размеры ни о чём... Да что ты понимаешь? Зато не переедешь с mysql на Oracle если вдруг понадобится. На всякий - </sarcasm> ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:48 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
ivanra,да он нормально выбирает,но очень долго ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:54 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
забыл никДа что ты понимаешь? Зато не переедешь с mysql на Oracle если вдруг понадобится.тебе слова mayton напомнить? даже если переедешь на Oracle или mssql это не ускорит. так что есть ли смысл в переезде? потому как хибер не зависит от субд.... ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:57 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
П.C. Не помогло... ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 17:58 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79maytonВот забегая вперед. Тебе repo.findAll() зачем нужен? Тоесть что ты будешь делать потом со всей коллекцией всех своих билетов? класть их номера в лист и выявлять какой процент каждой цифры поставил фетч лейзи вытянул билеты сейчас уже минут 5 пытаюсь достать цифры -это 300000 записей где то даже поболе не пойму толи комп дохлый толи что ,ну не должно так долго это быть явно же Коробочное решение этой проблемы - это pagination. Тоесть разбивание выборки на страницы. Код: sql 1. 2. 3.
Но это базе не нужно. Это нужно веб-серверу или юай чтоб он не умер от испуга. Вот так. Или если-б ты работал с ResultSet напрямую то ты некоторые калькуляции бы выполнял one-by-one. Тоесть в режиме последовательной обработки как работают со Streams. В 90% случаев мне удавалось написать такой SQL запрос который делает все из коробки. В том числе и твою аналитику. И расчет средних. И корреляции и дисперсии и прочее. Даже без включения Java. Вообще современная Dbms такая как MS_SQL и Oracle делает все вычисления в контексте SQL машины и выдавая в Java только резалт. Так-же работает и PL/SQL машина в оракле. Она старается избавить программиста от коллекций. Предлагая ему универсальный шаблон процессинга данных бесконечного размера. Типа (скопипащено отсюда https://gerardnico.com/lang/plsql/open_for) Код: plsql 1. 2. 3. 4. 5. 6. 7.
Ты же решил в Java делать бигдату и сам попался. Ну не на 300 тыщях так на 3 лямах ты все равно упадешь и Хибер тут будет тоже непричем. А причем здесь будет изначальная постановка задачи. А именно ЧТО ТЫ СЧИТАЕШЬ? Каков метод и алгоритм. Обсуди в форуме метод и алгоритм твоих билетов! Безотносительно хибера и базы. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 18:14 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
В тему стримов вот еще почитай как тут пишут. https://blog.madadipouya.com/2019/03/26/high-performance-data-fetching-using-spring-data-jpa-stream/ Код: java 1. 2. 3. 4.
... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 18:33 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
mayton Ты же решил в Java делать бигдату и сам попался. Ну не на 300 тыщях так на 3 лямах ты все равно упадешь и Хибер тут будет тоже непричем. А причем здесь будет изначальная постановка задачи. А именно ЧТО ТЫ СЧИТАЕШЬ? Каков метод и алгоритм. Обсуди в форуме метод и алгоритм твоих билетов! Безотносительно хибера и базы. я просто удивлен почему так медленно,даже 100 билетов ( в которых по 30 Long ) итого 3000 лонгов достает около 3 минут у меня не падет ни хибер ни сервер ничего,просто тупо очень долго но оно и правильно,не спроста же придумали Lazy а вообще мне не нужно обращаться к таблице ticket мне нужно обратиться вот к этой таблице Код: html 1. 2. 3.
надо просто загуглить как в рамках хибернейта к такого рода таблицам обращаться можно ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 18:52 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, еще раз. Твоя проблема не в Хибере а в постановке задачи. Ты решаешь не задачу билетов а технологиеское нагромождение технологий 90% из которых тебе в принципе не нужна. Ты втащил их просто по приколу. Вот сделай чистую рафинированную задачи билетов. Как на контестерах. Запаблиши ее в Программирование. И тебе ее решат ра 2 секунды на каком-нить Паскале. Разумеется я отсюда исключил парсинг сайта. Ведь это вообще другая задача верно? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 18:57 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
mayton Разумеется я отсюда исключил парсинг сайта. Ведь это вообще другая задача верно? это все одна задача взять с сайта билеты положить их в базу ,а затем произвести над ними некие манипуляции,назовем их аналитикой тоесть проблем никаких нет - все работает ,и даже билеты выбираются мгновенно но вот когда я циклом прохожусь по этим билетам и берут с каждого билета свой лист с 30 Long вот тут хибер и спотыкается решения этой задачи -простое обращаться напрямую к таблице коллекции надо посмотреть как это делается и все) я не пойму про какие вычисления ты говоришь -найти плохие цифры? у меня это две строчки кода и хешмапа ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 19:08 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79у меня это две строчки кода и хешмапа (устало) Зачем тебе хеш-мапа когда у тебя база данных? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 19:09 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonasv79у меня это две строчки кода и хешмапа (устало) Зачем тебе хеш-мапа когда у тебя база данных? затем что в рамках хибера у меня ограничен функционал) ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2019, 22:37 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
Как будет угодно. Видимо тебе не нужно решать задачу билетов. Тебе хочется играть с хибером. Разве-ж я могу помешать если просто хочется? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 09:05 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonКак будет угодно. Видимо тебе не нужно решать задачу билетов. Тебе хочется играть с хибером. Разве-ж я могу помешать если просто хочется? какая задача у билетов? пс.уже все куплено,за ночь компухтер определелил те цифры ,которые встречаются чаше других ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 11:40 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
Вот прикинь. Владельцы игорного бизнеса (покер клубы, казино и лотереи в том числе) - обычно выходцы из преступного мира. И тут вдруг (!) внезапно они узнают что какой-то пиздюк (я говорю не о тебе а просто образно) на публичном форуме хачит и ломает их бизнес. И делает публичной их подноготную. Тут есть разные варианты развития событий. До тех пор пока ты не создал им проблем - ты никому не нужен. Но если... короче думай сам. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 12:02 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79, Короче, твоя задача и топик интересны только молодняку. Это не кейс энтерпрайза. Мысль понял? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 12:09 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonВот прикинь. Владельцы игорного бизнеса (покер клубы, казино и лотереи в том числе) - обычно выходцы из преступного мира. И тут вдруг (!) внезапно они узнают что какой-то пиздюк (я говорю не о тебе а просто образно) на публичном форуме хачит и ломает их бизнес. И делает публичной их подноготную. Тут есть разные варианты развития событий. До тех пор пока ты не создал им проблем - ты никому не нужен. Но если... короче думай сам. ну ты прикалываешься)) хакать -это куда то проникать,что то ломать,обходить защиту и тд я беру билеты с их сайта,которые в свободном доступе и заношу их в базу,провожу аналитику и покупаю нужные мне билеты-где тут нарушение? это тоже самое если я назову тебя хакером- когда ты по арбузу стучишь в магазине))) проблемы сейчас можно огребсти просто возвращаясь домой ,если твоя рожа не понравится ппс или у них не добит план по 228 и что теперь из дома не выходить?)) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 13:36 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
PetroNotC Sharpasv79, Короче, твоя задача и топик интересны только молодняку. Это не кейс энтерпрайза. Мысль понял? задача выполнена) тему можно закрывать ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 13:41 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79это тоже самое если я назову тебя хакером- когда ты по арбузу стучишь в магазине))) Представь как щас напряглись плечевые мышцы у админов которые смотрят на лог.. где твой айпишник и ты балуешся. Совая туда нелепицу. Вот чо они щас думают? Хакир? Не? ХЗ... но лучше на всяк случай доложить куда надо ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 14:38 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonasv79это тоже самое если я назову тебя хакером- когда ты по арбузу стучишь в магазине))) Представь как щас напряглись плечевые мышцы у админов которые смотрят на лог.. где твой айпишник и ты балуешся. Совая туда нелепицу. Вот чо они щас думают? Хакир? Не? ХЗ... но лучше на всяк случай доложить куда надо и что они там видят?человек нажимает кнопку обновить-ищет билет какой ему хочется я ж туда ничего не сую в том то и дело) ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 16:39 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
Кстати вот подумай как отличить мышко-клик человека от долбёжки бота. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 17:34 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonКстати вот подумай как отличить мышко-клик человека от долбёжки бота. интервалы запроса будут постоянные ,а если жадый то и отчень короткие это легко обходится рандомным таймаутом майтон не там ты копаешь)если бы эти ребята хотели ограничить доступ к билетом - они бы что нибудь придумали но они не видят угрозы в том,ЧТО Кто то посмотрит на комбинации 10 000 билетов-бабки в ларьках продают у них там в каждоый пачке по 1000 билетов ,А таких пачек коробки -тоже ее в хакерши записывать будем или брать только слепых ?))) и я могу зайти в такой ларек и пересмотреть все билеты и купить такой какой хочу ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 18:19 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
Ну ОК. Сообщи там. Когда выиграешь лям. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 18:28 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
maytonНу ОК. Сообщи там. Когда выиграешь лям. да не выйграть там такие деньги эти ребята дураки чтоли по твоему)) программа дает им комбинацию с минимально возможными для них потерями - бывает так,когда куплено много билетов -невозможно не отдать крупный выйгрышь - но это до 100000 р,А все остальное фейки-те кто там по 300 млн и выше брали ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2019, 18:31 |
|
Парсинг динамического контента
|
|||
---|---|---|---|
#18+
asv79 Собственно ворпос существуют ли инструменты ,как распарсить HTML страницу в динамичным контентом? jsoup не умеет Помнится, играл я как раз в эту лоторею пару лет назад. Кстати, первый раз в жизни играл в лоторею, потому что не верил в свой успех в азартных играх такого профиля. Так вот выбрал перебором и купил 10 билетов по 100 руб, оканчивающихся на повторяющиеся цифры: xxx11, xxx22, ... ,xxx99 К моему удивлению все таки один билет выиграл, но смешную сумму в 100 руб. Номер выигрышного билета оканчивался на xxx66. Даже поленился отоварить выигрышный билетик, хотя может быть, просто надо было на выигранные 100 руб купить еще один билет, но я не стал играть в азартные игры с дъяволом :) А теперь по теме данного обсуждения. Не проще ли воспользоваться для вашей задачи проф. тулзом типа aparser ? Это топовый и самый скоростной парсер, который я когда-либо встречал, в первую очередь за счет своей многопоточности. Возможны сотни и даже тысячи одновременных потоков, чего не скажешь о браузерных тулзах типа Зенки и BAS, и при этом от вас НЕ требуются скилзы многопоточного программирования. Он всего за несколько минут может распарсить тысячи ваших лоторейных билетов. При этом в нем есть масса удобных возможностей по разработке собственных парсеров современных динамических сайтов, сессии и кукисы в нем поддерживаются автоматически. Свои собственные custom парсеры можно разрабатывать на JavaScript, причем предоставляется богатая библиотека API для создания концентрированной кастом логики именно только вашего use case парсера, многие вспомогательные сервисы уже разработаны до вас - огромная экономия вашего времени. А по поводу скорости доступа к базе данных, попробуйте для начала отследить сколько запросов в нее уходит, посмотрите узкие места (например, в DB2 можно посмотреть через db2top), может быть, нужно подкрутить буферные пулы и индексы, перенести базу данных на скоростную SSD, подключить к Hibernate Redis кэш, использовать pipe подключение вместо TCP, и многое другое. Но как уже писали для простой задачи - это overkill, хотя с другой стороны если вы собираетесь со временем наворотить там много всего интересного, то Hibernate - очень приятный и удобный выбор при правильном использовании. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.06.2020, 13:53 |
|
|
start [/forum/topic.php?all=1&fid=59&tid=2120787]: |
0ms |
get settings: |
7ms |
get forum list: |
5ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
45ms |
get topic data: |
3ms |
get forum data: |
1ms |
get page messages: |
1702ms |
get tp. blocked users: |
0ms |
others: | 291ms |
total: | 2056ms |
0 / 0 |