Читаем, парсим сайт.
Использую HttpURLConnection с чтением из потока в буфер ну и на выходе получаем строку с html-страницей.
Вопрос. Есть ли возможность как-то уменьшить трафик, если на странице например есть огромные скрипты, которые нам вообще не нужны? Может есть некий вариант, чтобы сервер с их стороны отправлял страницу в некоем сжатом виде (сам понимаю, что маловероятно, но вдруг чего-то не знаю).

am_sasaПодозреваю, что HttpURLConnection за "огромные скрипты" не полезет.
На сервер влиять не получится ИМХО
Что значит не полезет?
Вот и тоже уверен, что не получится конечно

Petro123действительно странная оптимизация.
JDS дай пример сайта.
Движок эксплорера загружает сайт в потоках за n секунд.
Сначала выключи JS и посмотри, будет ли сайт отображаться корректно. Есть ведь динамический контент.
Как вариант можно не загружать картинки.
Пример не могу дать, мопед не мой )
Насчет выключи JS, дин. контента и картинок, то речь же не о браузере, который сначала грузит страницу и потом начинает выполнять скрипты по onload-у например, подгружать параллельно картинки по ссылкам и тд.
Я просто запрашиваю html-страничку, получаю ее, но вопрос не в скорости загрузки, а в трафике.
Когда дергаешь тысячи страниц в день набегает неск гиг трафика, это как минимум, не очень гуманно )
И когда авторы сайта запихивают килобайтовые скрипты в страницу, то... ну молодцы конечно, ибо нефиг )
забыл никну во-первых использовать HttpURLConnection вместо HTTPClient или JSoup это мощно. Во-вторых единственное что можно сделать это выставить заголовок что ты accept gzip и вычитывать сжатый контент через GzipInputStream
Вот это интересно. Спасибо. Поищу. Хорошо, если найдутся примеры.

grasoff.net , не понял. И что? ) Там же в html все равно те же самые скрипты прилетели.
maytonА фильмы когда смотрят в HD в онлайне? Там поболее набегает.
Вообще что за канал у тебя? ASDL-модем чтоли?
Канал вполне вменяемый (повторяю, вопрос не в скорости), но фильмы - это фильмы, ты смотришь их дома на безлимитном интернете с фиксированной абон.платой, там главное, чтобы скорость пропускала и смотришь не круглосуточно )

Petro123Возьми с SQL-ru и покажи. Она у тебя без доп закачки скриптов, картинок и CSS?
Не втыкаю ) При чем доп закачка картинок и css?
Разве при запросе страницы через тот же HttpURLConnection он по цепочке, сам подкачивает еще и все картинки и css?

Petro123Я вас спрашиваю пример контента который вы собрались фильтровать.
А я и говорю, что примера под рукой нет, но описанная ситуация точно есть. Ну и решение подсказали уже - gzip.
Только, что не везде поддерживается походу )

авторПодожди-подожди! Какая цепочка? HttpURLConnection - это не fucken-браузер! Он не умеет javascrip исполнять!
Он не умеет подкачивать dependencies!
Так об этом и говорю. В общем тему можно закрыть. gzip.