powered by simpleCommunicator - 2.0.39     © 2025 Programmizd 02
Форумы / Java [игнор отключен] [закрыт для гостей] / Ограничение скорости загрузки файлов
33 сообщений из 33, показаны все 2 страниц
Ограничение скорости загрузки файлов
    #39868158
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Скажите пожалуйста.
Нужно сделать возможность ограничивать скорость загрузки файлов путем задавания максимальной скорости (как в торрент клиенте для примера).

Как это можно сделать в Java? и возможно ли.
Спасибо.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868164
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868166
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklop,
Можно в js
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868296
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopНужно сделать возможность ограничивать скорость загрузки файлов путем задавания максимальной скоростиПринимать или передавать данные кусками и следить, чтобы в заданном интервале не принимать (не передавать) больше лимита.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868305
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. SidorovTsyklopНужно сделать возможность ограничивать скорость загрузки файлов путем задавания максимальной скоростиПринимать или передавать данные кусками и следить, чтобы в заданном интервале не принимать (не передавать) больше лимита.именно +1
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868363
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PetroNotC SharpTsyklop,
Можно в js
Приложение на Java написано
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868364
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
вадяTsyklop,

обязательно java?
https://www.google.com/search?q=apache2 ограничить скорость загрузки&rlz=1C1GIGM_enRU792RU792&oq=apache2 ограничить скорость загрузки&aqs=chrome..69i57.20364j1j7&sourceid=chrome&ie=UTF-8

Да, обязательно Java ибо на ней написано приложение
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868366
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Basil A. SidorovTsyklopНужно сделать возможность ограничивать скорость загрузки файлов путем задавания максимальной скоростиПринимать или передавать данные кусками и следить, чтобы в заданном интервале не принимать (не передавать) больше лимита.
Типо этого https://stackoverflow.com/a/6271972/4444092 ?
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868367
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopPetroNotC SharpTsyklop,
Можно в js
Приложение на Java написано
А загрузка на HTML5?
А фронт на чем написан?
Ну и java большая, конкретнее.
Извини что СМС стилем - вопрос-ответ)))) Lol
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868373
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopBasil A. Sidorovпропущено...
Принимать или передавать данные кусками и следить, чтобы в заданном интервале не принимать (не передавать) больше лимита.
Типо этого https://stackoverflow.com/a/6271972/4444092 ?
Js html5 api
FileReader.readAsBinaryString(Blob|File)
Получите стрим или блоб вместо файла. Потом кусками отправляете.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868392
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Сорян ребят. Немного дезинформировал Вас. Под "загрузкой" я имел в виду скачивание файла из интернета в Java-е. То бишь есть приложение на Java, которое тащит из интерната файлы. Нужно ограничить скорость этой самой скачки файлов.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868396
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklop,))))
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868399
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklopесть приложение на Javaдесктоп?

TsyklopНужно ограничить скорость этой самой скачки файлов.скачивает побайтово?
Там и скорость регулируй.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868485
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopСкажите пожалуйста.
Нужно сделать возможность ограничивать скорость загрузки файлов путем задавания максимальной скорости (как в торрент клиенте для примера).

Как это можно сделать в Java? и возможно ли.
Спасибо.
Это сложная задача. В рамках 1 потока ты можешь вводить искусственные задержки но пользователь не дурак
и еще в 2000х использовал мультипоточную загрузку (в 20 сокетов например) где каждый поток качал со своей
скоростью фрагмент (с перемоткой вперед по команде Range) твоего файла а на выходе склеивал все фрагменты
в одно целое.

Что ты будешь делать когда 20 сессий будут качать 1 файл? Какую такую логику придумаешь чтоб мониторить аж 10
пользователй где будет 10 * 20 = 200 потоков и все что-то качают?

Тебе надо конфигурировать твой сервер приложений в паре с nginx как-то так

Код: java
1.
2.
limit_rate_after 1m;
limit_rate 150k;



Погугли там детально. Я не спец в nginx но именно это его задача.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868584
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Еще для общего сведенья почитай про https://netty.io/
и в частности про GlobalChannelTrafficShapingHandler

По идее это тоже решение но я не использовал netty и здесь не могу оценить стоимость имплементации
этой фичи в твою задачу. Надо читать. Изучать известные практики применения netty.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868602
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PetroNotC Sharpдесктоп?

Да.

PetroNotC Sharpскачивает побайтово?
Там и скорость регулируй.
Каким образом? делать задержку?
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868604
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mayton, у меня не сервак, а десктоп приложение. Оно скачивает с FTP сервера файлы в одном потоке (так осознано сделано). И вот заказчик просит сделать ограничение скорости для скачивания этих файлов.

P.S. Если говорить о серваке, то это вообще 1С система и ее сделали еще в далеком 2013 году
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868609
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopКаким образом? делать задержку?да.
Порциями.
За минуту гиг или 5 байт перекачать есть разнтца?
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868611
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Концептуально
Код: java
1.
2.
3.
4.
5.
6.
do{
   скачать порцию
   замерять среднюю скорость.
   если слишком быстро то подождать X милисекунд
       если все еще быстро - удвоить таймаут и наоборот
while(не конец)
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868619
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Называется "давайте создадим серверу проблемы, пусть жрёт ядерную память и развлекается ретрейнами".
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868621
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
По хорошему надо было конфигурить сервер.
Клиент просто должен качать на максималке.
Иначе архитектура тухлая выходит.
Но это 1с мать ево.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868623
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
maytonПо хорошему надо было конфигурить сервер.
Клиент просто должен качать на максималке.
Иначе архитектура тухлая выходит.
Но это 1с мать ево.

В том то и дело. Сервер написан и уже работает. И много клиентов сидит на этой штуке уже. Заказчик хочет сделать другой проект, но уже по технологиям 2019 года без всяких галимых 1С и т.д.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868624
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry SibiryakovНазывается "давайте создадим серверу проблемы, пусть жрёт ядерную память и развлекается ретрейнами".

Увы. Это так. тут я бессилен. Ищу варианты.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868630
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Расскажи потом как проблема решилась.

Убежден что вам покупка еще одной виртуалки стоила-б дешевле чем месяц работы мидл-девелопера.

Да и что девелопить? Это уже 20 лет как админская задача. QOS, шейперы.
Разработчик должен бизнес-код писать.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868654
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
maytonРасскажи потом как проблема решилась.

Убежден что вам покупка еще одной виртуалки стоила-б дешевле чем месяц работы мидл-девелопера.

Да и что девелопить? Это уже 20 лет как админская задача. QOS, шейперы.
Разработчик должен бизнес-код писать.
Тут больше загоны клиентов у заказчика. А клиенты это торговые сети по продаже чего-то - косметики, техники, кафешки, рестики.
Суть приложения - играть музыку и рекламу на фоне. Вот заходите в ТЦ и играет какая-то музыка и местами реклама - вот это и есть такое приложение. И так исторически сложилось что приложение тянет все песни с FTP сервака напрямую. А у всех больших клиентов в основном своя сетка настроена и они думают что если, скажем 50 магазинов начнут скачивать песни, то их сетка ляжет ибо не выдержит. Вот и ищем решения проблемы как можно это сделать.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868658
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklop,
Есть приложения эмулирующие топологию сети.
Сделай у себя под сеть аналог заказчика. И потом тестируй и делай продукт.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868690
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PetroNotC Sharp, если бы я знал все детали их сетки то это годно... а так... хз
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39868704
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklop,
Не. Ты должен упреждать. Ты должен проверить и сказать - При 10 мегабит сетке и 100 клиентах вы получите тормоза. А вот от 50ти тормозов не будет.
Хотя понятно, что это не разработка.
Это нагрузочное тестирование, а сетку тебе админ штатный должен сделать.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39869118
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopИ так исторически сложилось что приложение тянет все песни с FTP сервака напрямую. А у всех больших клиентов в основном своя сетка настроена и они думают что если, скажем 50 магазинов начнут скачивать песни, то их сетка ляжет ибо не выдержит. Вот и ищем решения проблемы как можно это сделать.
Решение простое: скачивать по одной песне или рекламе за раз. Кэшировать на клиентской стороне. Уменьшать битрейт аудио. При этом нагрузка сети будет равна количеству песен в фонотеке * битрейт / продолжительность песни и от количества клиентов зависеть не будет.

Остальное можешь фейкапить ибо проверить они всё равно не смогут.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39869130
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry SibiryakovРешение простое: скачивать по одной песне или рекламе за раз. Кэшировать на клиентской стороне. Уменьшать битрейт аудио. При этом нагрузка сети будет равна количеству песен в фонотеке * битрейт / продолжительность песни и от количества клиентов зависеть не будет.

Остальное можешь фейкапить ибо проверить они всё равно не смогут.

Песни и так скачиваются один раз и остаются на устройстве и вот в этом одном скачивании и проблема.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39869935
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklopвот в этом одном скачивании и проблема.
Нет в одноразовом скачивании проблемы. На худой конец уменьшайте битрейт.
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39869964
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklop,
Пора дать цифры или закругляться
...
Рейтинг: 0 / 0
Ограничение скорости загрузки файлов
    #39870015
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopmaytonРасскажи потом как проблема решилась.

Убежден что вам покупка еще одной виртуалки стоила-б дешевле чем месяц работы мидл-девелопера.

Да и что девелопить? Это уже 20 лет как админская задача. QOS, шейперы.
Разработчик должен бизнес-код писать.
Тут больше загоны клиентов у заказчика. А клиенты это торговые сети по продаже чего-то - косметики, техники, кафешки, рестики.
Суть приложения - играть музыку и рекламу на фоне. Вот заходите в ТЦ и играет какая-то музыка и местами реклама - вот это и есть такое приложение. И так исторически сложилось что приложение тянет все песни с FTP сервака напрямую. А у всех больших клиентов в основном своя сетка настроена и они думают что если, скажем 50 магазинов начнут скачивать песни, то их сетка ляжет ибо не выдержит. Вот и ищем решения проблемы как можно это сделать.
Блин. Тут речь вообще идет об FTP и сетке!

Вообще нет темы для разработки! Циклоп дружище. Закрывай тему.
И попросите ваш бизнес чтоб просто развернул зеркало FTP в другой сети.

Копеешное дело вить... ФПТ..
...
Рейтинг: 0 / 0
33 сообщений из 33, показаны все 2 страниц
Форумы / Java [игнор отключен] [закрыт для гостей] / Ограничение скорости загрузки файлов
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]