powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Java [игнор отключен] [закрыт для гостей] / Парсинг динамического контента
25 сообщений из 110, страница 2 из 5
Парсинг динамического контента
    #39880631
lleming
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
если не хочется упарывать во всех уже браузерах есть копи эс curl Затем сюда

https://curl.trillworks.com/

Внимание куки все равно просрочатся.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880644
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
llemingесли не хочется упарывать во всех уже браузерах есть копи эс curl Затем сюда

https://curl.trillworks.com/

Внимание куки все равно просрочатся.
базу я уже заполнил- 200 тысяч уникальных билетов)

моя задача сейчас найти запрос который кладет нужные мне билеты в корзину

пока никак не смог идентифицировать этот запрос ,суко уже случайно 2 билета купил)
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880772
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
нашел кнопку хрен его знает надо как то сделать такую же

Код: html
1.
2.
3.
4.
5.
6.
<div class="buttons">
		<form action="/actions/cart/add" method="post" class="cart smaller">
						<input type="hidden" name="game" value="RUS_LOTTO">
															<input type="hidden" name="targetUrl" value="/ruslotto/game?cart=lay">
			<button name="ruslotto_cart" type="submit" onclick="metrikaGoal('addticketincart');" class="pretty_button type_primary btn_m outline_white scaller" data-acter="click" data-typer="game_addbasket" data-namer="" "=""><ins class="iconic-cart"></ins>В корзину</button>
		<input type="hidden" name="data" value="{&quot;drawId&quot;:null,&quot;gameType&quot;:&quot;manual&quot;,&quot;baseStake&quot;:100,&quot;gameMode&quot;:&quot;normal&quot;,&quot;tickets&quot;:[{&quot;barCode&quot;:&quot;999848418522&quot;,&quot;numbers&quot;:[2,11,21,58,74,17,23,36,60,87,39,40,50,75,89,5,16,20,37,68,29,44,67,71,81,7,15,34,51,85]}],&quot;favorites&quot;:[],&quot;sumTotal&quot;:100,&quot;ticketsCount&quot;:1}"
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880790
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Давай рутрекер парсить. Магнитики нужны чо.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880794
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79нашел кнопку хрен его знает надо как то сделать такую же

Код: html
1.
2.
3.
4.
5.
6.
<div class="buttons">
		<form action="/actions/cart/add" method="post" class="cart smaller">
						<input type="hidden" name="game" value="RUS_LOTTO">
															<input type="hidden" name="targetUrl" value="/ruslotto/game?cart=lay">
			<button name="ruslotto_cart" type="submit" onclick="metrikaGoal('addticketincart');" class="pretty_button type_primary btn_m outline_white scaller" data-acter="click" data-typer="game_addbasket" data-namer="" "=""><ins class="iconic-cart"></ins>В корзину</button>
		<input type="hidden" name="data" value="{&quot;drawId&quot;:null,&quot;gameType&quot;:&quot;manual&quot;,&quot;baseStake&quot;:100,&quot;gameMode&quot;:&quot;normal&quot;,&quot;tickets&quot;:[{&quot;barCode&quot;:&quot;999848418522&quot;,&quot;numbers&quot;:[2,11,21,58,74,17,23,36,60,87,39,40,50,75,89,5,16,20,37,68,29,44,67,71,81,7,15,34,51,85]}],&quot;favorites&quot;:[],&quot;sumTotal&quot;:100,&quot;ticketsCount&quot;:1}"


Вот изврат то. Смешивание логики и представления.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880800
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В 2000х у меня тоже был выбор. Идти в фулстек или в классический back-end.
Моё слабое сердце не выдержало UI разработки. Посмотрел я как ребятя костылят велосипеды.

Особенно плохо было с браузерами. Сколько браузеров столько и if-ов в коде.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880801
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
Ты верно решил). Фронт студенты лабают.
Еще прикольно что 404 то есть не загрузка всей страницы с кодом не останавливает программу в кавычках.
И на экран варнинг не выводится.
Что сразу исключает из корпоратива и ентерпрайза.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880805
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp,

короче перехватил я запрос этот

два раза он отсылается

выглядит не очень понятно,помимо куки мне надо вот это передать
Код: java
1.
2.
3.
4.
5.
6.
7.
game: RUS_LOTTO
targetUrl: /ruslotto/game?cart=lay
ruslotto_cart: 
data: {"drawId":null,"gameType":"manual","baseStake":100,"gameMode":"normal","tickets":[{"barCode":"999848888385","numbers":[25,34,45,64,85,12,22,44,55,70,5,14,69,72,90,13,33,54,67,78,8,28,46,58,83,15,20,32,47,73]}],"favorites":[],"sumTotal":100,"ticketsCount":1}
clientId: 555634147.1571642396
userAgent: Chrome/77
trackingId: UA-44214555-1
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880811
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79, ох чет я сомневаюсь насчет твоей этой активности.

Ребята из Лото не вломят ли тебе пилюлей?
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880820
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
я сформировал запрос
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
 String s=  Jsoup.connect("https://www.stoloto.ru/actions/cart/add")
                .ignoreContentType(true)
                .cookies(kuki)
                .method(Connection.Method.POST)
                .userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36")
                .data("game","RUS_LOTTO")
                .data("targetUrl","/ruslotto/game?cart=lay")
                .data("data","{\"drawId\":null,\"gameType\":\"manual\",\"baseStake\":100,\"gameMode\":\"normal\",\"tickets\":[{\"barCode\":\"999860397328\",\"numbers\":[2,13,27,73,84,8,26,39,40,88,16,38,50,60,77,4,19,36,54,90,5,17,34,48,79,20,42,51,63,78]}],\"favorites\":[],\"sumTotal\":100,\"ticketsCount\":1}")
                .data("userAgent","Chrome/77")
                .data("trackingId","UA-44214555-1")
                .data("clientId","555634147.1571642396")
                .execute()
                .body();
        return s;



получаю сначала норм ответ pending
а потом
Код: xml
1.
{"items":[],"url":"/ruslotto/game?cart=lay","status":"ok"}



но чего то не добавляется ничо в корзину
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880822
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonasv79, ох чет я сомневаюсь насчет твоей этой активности.

Ребята из Лото не вломят ли тебе пилюлей?

за что? все в отктром доступе
я же не сервер ломаю,а хочу купить билеты,которые мой апликейшн выбрал)
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880830
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79,
Увы. У них не публичное api. Официально ты нарушаешь закон.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880833
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharpasv79,
Увы. У них не публичное api. Официально ты нарушаешь закон.
всмысле нарушаю?
я беру запросы из браузера,которые завуалированы под кнопки
в чем разница -нажал я кнопку или запрос отправил руками на сервер
я же не меняю какие то данные
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880834
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79,
Представь, что есть дом, калитка со звонком. Открыто.
Ты зашел в открытую дверь и гуляешь и "нюхаешь цветы"))).
Не законно.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880835
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79в чем разница -нажал я кнопку или запрос отправил руками на серверприменил отмычку.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880836
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79maytonasv79, ох чет я сомневаюсь насчет твоей этой активности.

Ребята из Лото не вломят ли тебе пилюлей?

за что? все в отктром доступе
я же не сервер ломаю,а хочу купить билеты,которые мой апликейшн выбрал)
Тут понимаешь. Уголовное право на это смотрит так. Ты. Стас Иванов. С какой целью на улицу пошел с ножиком?
Хлебушек порезать? Или может ты задумал покушение на убийство?

С какими намерениями ты парсил сайт?

Улавливаешь?
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880838
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonasv79пропущено...


за что? все в отктром доступе
я же не сервер ломаю,а хочу купить билеты,которые мой апликейшн выбрал)
Тут понимаешь. Уголовное право на это смотрит так. Ты. Стас Иванов. С какой целью на улицу пошел с ножиком?
Хлебушек порезать? Или может ты задумал покушение на убийство?

С какими намерениями ты парсил сайт?

Улавливаешь?

ну вы даете))
я могу тоже самое делать на бумажке- обновлять билеты -записывать комбинации-- потом так же в ручную найти нужные мне билеты)
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880839
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharpasv79,
Представь, что есть дом, калитка со звонком. Открыто.
Ты зашел в открытую дверь и гуляешь и "нюхаешь цветы"))).
Не законно.
все верно -защел в калитку=залез в базу данных
а если ты нюхаешь цветы на общественной улице -это твое право
я же не лезу на сервер
все в рамках их же запросов - просто без браузера
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880841
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79maytonпропущено...

Тут понимаешь. Уголовное право на это смотрит так. Ты. Стас Иванов. С какой целью на улицу пошел с ножиком?
Хлебушек порезать? Или может ты задумал покушение на убийство?

С какими намерениями ты парсил сайт?

Улавливаешь?

ну вы даете))
я могу тоже самое делать на бумажке- обновлять билеты -записывать комбинации-- потом так же в ручную найти нужные мне билеты)
Ну вот и делай на бумажке. По крайней мере с точки зрения преступления сложнее будет доказать.
И есть еще градация. Преступление с испольованием тех-средств. Как-то автомобилей. Электро-инструмента.
И т.п. Статья более тяжелая. И больше лет дают.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880843
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79просто без браузерав этом дело.
Это их ИС и их программное обеспечение.
У банка тоже есть банк-клиент.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880846
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вообще, ты эмулировал браузер))
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880861
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC SharpВообще, ты эмулировал браузер))

лучше скажи почему не кладется билет в корзину?)
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880864
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Включи в браузере режим девелопера. И добавь в корзину средствами UI.
Посмотри какие сервисные методы работают и что возвращают.

Тут никто кроме тебя не будет разбираться.
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880883
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
так делаю
там кнопка которая отправляет пост запрос
я вроде все так же прописал - и даже приходит ответ от сервера типо ОК
но вот в корзине то пусто
...
Рейтинг: 0 / 0
Парсинг динамического контента
    #39880893
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79,
Так не бывает.
Значит не все повторил со старта сессии.
...
Рейтинг: 0 / 0
25 сообщений из 110, страница 2 из 5
Форумы / Java [игнор отключен] [закрыт для гостей] / Парсинг динамического контента
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]