powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Java [игнор отключен] [закрыт для гостей] / Парсинг динамического контента
25 сообщений из 110, страница 3 из 5
Парсинг динамического контента
    #39880895
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79,
Не один запрос, а все запросы за сеанс с куками.
Это если в js проверок нет.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880954
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79mayton,
так делаю
там кнопка которая отправляет пост запрос
я вроде все так же прописал - и даже приходит ответ от сервера типо ОК
но вот в корзине то пусто
Подожди. Ты же наполнял корзину. Что изменилось с тех пор как она перестала наполнятся.

P.S. Ну хитёёёр...
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881010
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonasv79mayton,
так делаю
там кнопка которая отправляет пост запрос
я вроде все так же прописал - и даже приходит ответ от сервера типо ОК
но вот в корзине то пусто
Подожди. Ты же наполнял корзину. Что изменилось с тех пор как она перестала наполнятся.

P.S. Ну хитёёёр...
не я не корзину наполнял- а базу

я эмулирую нажатие кнопки обновить билеты - получаю 10 билетов-заношу их в базу-обновляю -заношу

пропустил через фильтр - у меня есть номера билетов и комбинации-все что нужно каким то образом положить их в корзину
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881025
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharpasv79,
Не один запрос, а все запросы за сеанс с куками.
Это если в js проверок нет.
там html форма

Код: java
1.
2.
3.
4.
5.
<form action="/actions/cart/add" method="post" class="cart smaller">
						<input type="hidden" name="game" value="RUS_LOTTO">
															<input type="hidden" name="targetUrl" value="/ruslotto/game?cart=lay">
			<button name="ruslotto_cart" type="submit" onclick="metrikaGoal('addticketincart');" class="pretty_button type_primary btn_m outline_white scaller" data-acter="click" data-typer="game_addbasket" data-namer="" "=""><ins class="iconic-cart"></ins>В корзину</button>
		<input type="hidden" name="data" value="{&quot;drawId&quot;:null,&quot;gameType&quot;:&quot;manual&quot;,&quot;baseStake&quot;:100,&quot;gameMode&quot;:&quot;normal&quot;,&quot;tickets&quot;:[{&quot;barCode&quot;:&quot;999848863201&quot;,&quot;numbers&quot;:[6,17,25,48,55,4,37,69,72,88,20,57,60,77,85,2,18,24,59,64,11,35,46,79,82,26,31,42,78,80]}],&quot;favorites&quot;:[],&quot;sumTotal&quot;:100,&quot;ticketsCount&quot;:1}"></form>



я отправляю все как и тут ,кроме вот этоого скрипта - я не могу вообще его найти

Код: html
1.
onclick="metrikaGoal('addticketincart')



мне приходит нормальный json
Код: html
1.
{"status":"pending"}



а когда второй раз посылаю запрос ( да у них почему то два раза запрос отпрааляется)
выходит вот такой json

Код: html
1.
{"items":[],"url":"/ruslotto/game?cart=lay","status":"ok"}



а в корзине пусто-потому что туда судя по всему не лег никакой итем -почему -понятия не имею

я отловил этот запрос в девтуле -когда кнопку жмешь все куки так же отправляю

не пойму в чем прикол
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881029
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вот эти два запроса Post уходят на сервер
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881036
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
запросы add

вот они изнутри

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
Request URL: https://www.stoloto.ru/actions/cart/add
Request Method: POST
Status Code: 200 OK
Remote Address: 178.248.233.104:443
Referrer Policy: no-referrer-when-downgrade
Cache-Control: no-cache, no-store, must-revalidate
Connection: keep-alive
Content-Length: 1349
Content-Type: application/json
Date: Thu, 24 Oct 2019 12:15:50 GMT
Expires: 0
Last-Build: 1571919350396
Last-Modified: Mon, 26 Jul 1997 05:00:00 GMT
Pragma: no-cache
Server: nginx
Set-Cookie: gjac=true;Path=/;Secure;HttpOnly
Set-Cookie: gbr=b0cc93ed-db48-45dd-a552-c7122bcbc5cb;Path=/;Domain=.stoloto.ru;Expires=Thu, 24-Oct-2019 14:15:50 GMT;Max-Age=7200;HttpOnly
Set-Cookie: gbr=;Path=/;Expires=Thu, 01-Jan-1970 00:00:00 GMT;Max-Age=0
Accept: application/json, text/javascript, */*; q=0.01
Accept-Encoding: gzip, deflate, br
Accept-Language: en-US,en;q=0.9
Connection: keep-alive
Content-Length: 576
Content-Type: application/x-www-form-urlencoded
Cookie: isgua=false; K=1571642393849; _ga=GA1.2.555634147.1571642396; welcome=true; _ym_uid=1571642396502481532; _ym_d=1571642396; _vwo_uuid_v2=D743B9A20B0FA987CC2E39AC6F7BA09B2|94fca6ec37493d710643e3e05cc3dc6b; __auc=354d77d216ded2fcd7d2e3ebf87; flocktory-uuid=9eebf146-8146-4fc2-89a9-15931e5d3b11-4; _fbp=fb.1.1571642397269.2005321185; SESSION=3af0ffac-8547-44ae-bebf-2a169b174b6a; wimhash21=1d86f019fc149371f67eacc92411a2de; _gid=GA1.2.528436366.1571900704; _ym_isad=2; _SI_VID_1.6befd9a02400013179aba889=1134aad1af7fd95e3601aaf2; __utmc=35201507; __utmz=35201507.1571903908.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __asc=4806e88c16dfda786524a293fbf; _ym_visorc_15627616=w; gbr=b0cc93ed-db48-45dd-a552-c7122bcbc5cb; ga=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJycyI6WyJDVVNUT01FUiIsIlVTRVIiXSwibG9jIjoicnUiLCJydiI6IlNJVEUiLCJmbiI6ItCh0YLQsNC90LjRgdC70LDQsiIsImRuIjoi0KHRgtCw0L3QuNGB0LvQsNCyIiwic2VnIjo0LCJleHAiOjE1NzE5MTk2NTIsInZpcCI6ZmFsc2UsImFwbCI6MjAwLCJtbCI6ImFzdl83OUBpbmJveC5ydSIsInN0IjoiUkVHSVNURVJFRCIsIm9yIjoiU1RPTE9UTyIsImMiOiJSVSIsImFwdCI6IllFUyIsImYiOnRydWUsImlwIjoiMTQ0LjM2LjI0MS4xMzEiLCJpIjoyMDgyMjA4NTA4LCJmcHQiOiJXQUxMRVQsQk9OVVMiLCJsIjoiYXN2Xzc5QGluYm94LnJ1IiwibSI6Ijc5MjA2OTA4ODk2IiwidmQiOmZhbHNlLCJvIjp0cnVlLCJyZCI6MTU0NjM0MzY3MjU3NiwidyI6MTU4MzE4MDE0NjQ4LCJzY3BvIjpmYWxzZSwiZmJ5IjoyMDE5fQ.AztdR1kJdGbrj07KwIAczwTf00OLExLfihIhz5Zoyu4; __utma=35201507.555634147.1571642396.1571911246.1571919247.3; __utmt=1; __utmb=35201507.1.10.1571919247; _gat=1; _SI_SID_1.6befd9a02400013179aba889=7cbf3fafc3d0f8314874ad9d.1571919349795.187193; gjac=true
Host: www.stoloto.ru
Origin: https://www.stoloto.ru
Referer: https://www.stoloto.ru/ruslotto/game?cart=lay&lastdraw
Sec-Fetch-Mode: cors
Sec-Fetch-Site: same-origin
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36
X-Requested-With: XMLHttpRequest
game: RUS_LOTTO
targetUrl: /ruslotto/game?cart=lay
ruslotto_cart: 
data: {"drawId":null,"gameType":"manual","baseStake":100,"gameMode":"normal","tickets":[{"barCode":"999848989081","numbers":[18,28,30,69,78,1,10,45,52,82,3,23,36,48,66,11,25,35,68,75,17,29,47,51,80,8,41,57,79,89]}],"favorites":[],"sumTotal":100,"ticketsCount":1}
clientId: 555634147.1571642396
userAgent: Chrome/77
trackingId: UA-44214555-1
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881038
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а вот мои запрос

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
   public static String parsUrl() throws IOException {

        Map<String, String> kuki = new HashMap<String, String>();
        kuki.put("isgua", "false");
        kuki.put("K", "1571642393849");
        kuki.put("_ga", "GA1.2.555634147.1571642396");
        kuki.put("welcome", "true");
        kuki.put("_ym_uid", "1571642396502481532");
        kuki.put("_ym_d", "1571642396");
        kuki.put("_vwo_uuid_v2", "D743B9A20B0FA987CC2E39AC6F7BA09B2|94fca6ec37493d710643e3e05cc3dc6b");
        kuki.put("__auc", "354d77d216ded2fcd7d2e3ebf87");
        kuki.put("flocktory-uuid", "9eebf146-8146-4fc2-89a9-15931e5d3b11-4");
        kuki.put("_fbp", "fb.1.1571642397269.2005321185");
        kuki.put("SESSION", "3af0ffac-8547-44ae-bebf-2a169b174b6a");
        kuki.put("wimhash21", "1d86f019fc149371f67eacc92411a2de");
        kuki.put("gbr", "80a9b31e-426d-412e-b3b9-1d6fbc2cc706");
        kuki.put(" __asc", "e963747316dfc95435c20033bee");
        kuki.put("_gid", "GA1.2.1790512847.1571642396");
        kuki.put("_ym_visorc_15627616", "w");
        kuki.put("_ym_isad=", "2");
        kuki.put("_SI_VID_1.6befd9a02400013179aba889", "1134aad1af7fd95e3601aaf2");
        kuki.put("__utma", "35201507.555634147.1571642396.1571903908.1571903908.1");
        kuki.put("__utmc", "35201507");
        kuki.put("__utmz", "35201507.1571903908.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)");
        kuki.put("ga", "eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJycyI6WyJDVVNUT01FUiIsIlVTRVIiXSwibG9jIjoicnUiLCJydiI6IlNJVEUiLCJmbiI6ItCh0YLQsNC90LjRgdC70LDQsiIsImRuIjoi0KHRgtCw0L3QuNGB0LvQsNCyIiwic2VnIjo0LCJleHAiOjE1NzE5MDkwODksInZpcCI6ZmFsc2UsImFwbCI6MjAwLCJtbCI6ImFzdl83OUBpbmJveC5ydSIsInN0IjoiUkVHSVNURVJFRCIsIm9yIjoiU1RPTE9UTyIsImMiOiJSVSIsImFwdCI6IllFUyIsImYiOnRydWUsImlwIjoiMTQ0LjM2LjI0MS4xMzEiLCJpIjoyMDgyMjA4NTA4LCJmcHQiOiJXQUxMRVQsQk9OVVMiLCJsIjoiYXN2Xzc5QGluYm94LnJ1IiwibSI6Ijc5MjA2OTA4ODk2IiwidmQiOmZhbHNlLCJvIjp0cnVlLCJyZCI6MTU0NjM0MzY3MjU3NiwidyI6MTU4MzE4MDE0NjQ4LCJzY3BvIjpmYWxzZSwiZmJ5IjoyMDE5fQ.Z17yMsbZ_NRxYzOObp_TIQ_a4oQB_zAdRNzuMQUqg4Y");
        kuki.put("_SI_SID_1.6befd9a02400013179aba889", "c52e1af865d0f8314b1f565e.1571909780891.432640; _gat=1");
//        String json = Jsoup.connect("https://s.stoloto.ru/service/bingo/ruslotto/change?callback=jQuery171010123521258160095_1571660062730&numbersToChange=%5B%7B%22barCode%22%3A%22999847030297%22%7D%2C%7B%22barCode%22%3A%22999847451294%22%7D%2C%7B%22barCode%22%3A%22999848565640%22%7D%5D&_=1571733298168")

      String s=  Jsoup.connect("https://www.stoloto.ru/actions/cart/add")
                .ignoreContentType(true)
                .cookies(kuki)
                .method(Connection.Method.POST)
                .userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36")
                .data("game","RUS_LOTTO")
                .data("targetUrl","/ruslotto/game?cart=lay")
                .data("data","{\"drawId\":null,\"gameType\":\"manual\",\"baseStake\":100,\"gameMode\":\"normal\",\"tickets\":[{\"barCode\":\"999848970204\",\"numbers\":[26,33,49,52,86,37,41,69,74,85,8,19,29,62,78,7,15,28,63,87,16,31,55,64,70,6,24,40,57,81]}],\"favorites\":[],\"sumTotal\":100,\"ticketsCount\":1}")
                .data("userAgent","Chrome/77")
                .data("trackingId","UA-44214555-1")
                .data("clientId","555634147.1571642396")
                .execute()
                .body();
        return s;


    }
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881041
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79, шикарно. Так можно и тебе пароль поменять.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881043
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
там авторизация через телефон ,врядли получится)

а вот по поводу запроса -есть какие то идеи?

как мне мои билеты в корзину положить?
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881047
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79не могу вообще его найти

Код: html
1.
onclick="metrikaGoal('addticketincart')

как так?
В фоксе есть Консоль браузера. Туда идут ошибки.
Если там не ругается на отсутствии функции, значит ты плохо искал. Ищи.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881056
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881063
ivanra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
asv79,
чего то много данных отправляешь. У тебя на форме 3 инпута и 1 кнопка. Откуда взялись
Код: javascript
1.
2.
3.
                .data("userAgent","Chrome/77")
                .data("trackingId","UA-44214555-1")
                .data("clientId","555634147.1571642396")


Ну и на куки с гугль аналитикой и яндекс метриками можно забить, тут главное SESSON
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881065
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharpasv79не могу вообще его найти

Код: html
1.
onclick="metrikaGoal('addticketincart')

как так?
В фоксе есть Консоль браузера. Туда идут ошибки.
Если там не ругается на отсутствии функции, значит ты плохо искал. Ищи.
запрос то я не в браузере эмулирую а в джава коде
там ничего не ругается)
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881067
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79,
Странный ты.
Ты сказал не нашел в js функцию АБС.
Дак ищи. Ты должен знать отладчиком что она делает.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881068
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
какая то жесть хибер компонует лист из 10000 тысяч объектов уже 10 минут это нормально вообще?)
командой repo.findAll();
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881070
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79какая то жесть хибер компонует лист из 10000 тысяч объектов уже 10 минут это нормально вообще?)
командой repo.findAll();а хибер для чего вообще служит?
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881074
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharpasv79какая то жесть хибер компонует лист из 10000 тысяч объектов уже 10 минут это нормально вообще?)
командой repo.findAll();а хибер для чего вообще служит?
всмысле для чего- облегачает роботу с базами данных,представляет записи в виде сущностей
что то печаль какая то выходит - неужели хибер не может переварить 10.500 сущностей
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881079
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79,
Не можешь запомнить "хибер для crud"?
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881080
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ппц хибер не может выбрать 10 тысяч сущностей?))
серьезно

Код: java
1.
repo.findAll()


тупо вешает на глушняк все)
может проблема в том что у каждого тикета еще лист из 30 номеров и это получается уже 300000 записей ,хрен его знает

так база работает,по одному нормально тикеты выдергиваются

что за печаль беда то
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881085
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79ппц хибер не может выбрать 10 тысяч сущностей?))
серьезно

Код: java
1.
repo.findAll()


тупо вешает на глушняк все)
может проблема в том что у каждого тикета еще лист из 30 номеров и это получается уже 300000 записей ,хрен его знает

так база работает,по одному нормально тикеты выдергиваются

что за печаль беда то
Где-то недалеко вадя горько плачет
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881091
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharpasv79,
Не можешь запомнить "хибер для crud"?
а что по твоему select * from table?
не круд разве?
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881093
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79PetroNotC Sharpasv79,
Не можешь запомнить "хибер для crud"?
а что по твоему select * from table?
не круд разве?нет. Звезда это говнокод
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881095
ivanra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
asv79,
10000 записей это ни о чем для хибера. Если конечно нет косяков в меппинге
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881097
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
и если достаточно памяти у JVM
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39881100
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79ппц хибер не может выбрать 10 тысяч сущностей?))
серьезно

Код: java
1.
repo.findAll()


тупо вешает на глушняк все)
может проблема в том что у каждого тикета еще лист из 30 номеров и это получается уже 300000 записей ,хрен его знает

так база работает,по одному нормально тикеты выдергиваются

что за печаль беда то
Еще один гвоздь в крышку гроба всех Хибера

Чтоб ты делал в отделе дата-аналитики? Там датасеты начинаются от миллионов.
...
Рейтинг: 0 / 0
25 сообщений из 110, страница 3 из 5
Форумы / Java [игнор отключен] [закрыт для гостей] / Парсинг динамического контента
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]