ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Шейпер... (теоретические вопросы и не только)
48 сообщений из 48, показаны все 2 страниц
  все  
Шейпер... (теоретические вопросы и не только)
    #36840083
Берлuнгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Берлuнгер
Участник
Есть машинка ububtu с NAT на базе MASQUERADE.
На ней же бегает торрент клиент.

1) если я добавляю в правило
Код: plaintext
1.
iptables -t mangle -A POSTROUTING -o $WAN -j MARK --set-mark 222
то влияет ли оно на
Код: plaintext
iptables -t nat -A POSTROUTING -o $WAN -j MASQUERADE
(или это два независимых и исполняются оба)

соотвественно в шейпере (htb.init) пишу вместо RULE=ip, пишу MARK=222

2) Каким образом резать торрент клиент, крутящийся на самом сервере? (порт под торрент клиент один)

3) Если у меня несколько локальных интерфейсов (eth0 - локалка, eth1 - интернет, какой нибудь vmnet0 - это bridge от виртуальной машины), то влияет ли это как то на процесс, или достаточно маркировать пакеты ?
...
Рейтинг: 0 / 0
10.09.2010, 12:59
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #36840299
Берлuнгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Берлuнгер
Участник
еще у мну вопрос: немаркированные пакеты (если в шейпере нет для них правил) проходят без шейпинга ??
...
Рейтинг: 0 / 0
10.09.2010, 13:57
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #36843046
eee-pc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
eee-pc
Участник
Итак.
Повозился на выходных с шейпером:
поставил htb.init, маркировать пакеты толком не удалось - пришлось прописывать все руками в конфиге htb.init
Для качалки торрента создал на сервере виртуалку на базе vmware-server, сеть виртуалки bridged, адрес 192.168.1.3 (сервера 192.168.1.2)

Получился следующий конфиг (eth0-локалка, eth1 - инет)
 
eth0
Код: plaintext
1.
2.
R2Q= 5 
DEFAULT= 28
примечание: игрался с r2q: при значениях больше 100 шейпер не особо круто обеспечивает CEIL (если поставлено 3мбит, качать может 3.2-3.4мбита, при этом практически не разруливает приоритеты. с значением 5 более менее чего то разруливает)

eth0-2
Код: plaintext
1.
RATE=1Gbit
примечание: на сам сервер - файлопомойка, поэтому нужен гигабитный канал в локалку если качать с сервера. переносить файлопомойу на виртуалку чесна желания нет -- риск потери данных.\

eth0-2:20 (локальный трафик - от сервера в локалку)
Код: plaintext
1.
2.
3.
4.
5.
PRIO= 9 
RATE=1Gbit
CEIL=1Gbit
LEAF=sfq
RULE= 192 . 168 . 1 . 0 / 24 , 192 . 168 . 1 . 0 / 24

eth0-2:26 (торрент)
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
PRIO= 999 
RATE=1000Kbit
CEIL=7000Kbit
LEAF=sfq
MARK= 6 
RULE=,: 51790 
RULE=, 192 . 168 . 1 . 3

eth0-2:27 (резерв)
Код: plaintext
1.
2.
3.
4.
5.
PRIO= 5 
RATE=2000Kbit
CEIL=4000Kbit
LEAF=sfq
MARK= 5

eth0-2:28 (трафик в локалку - приоритетный трафик)
Код: plaintext
1.
2.
3.
4.
5.
6.
PRIO= 4 
RATE=4200Kbit
CEIL=6000Kbit
LEAF=sfq
MARK= 4 
RULE=, 192 . 168 . 1 . 0 / 24


судя по логам htb state, торрент трафик действительно попадает в 26 класс, а локальный трафик - в 28. При этом также выводил определенный комп в 27 класс посредством RULE -- похоже на то, что работает. Закачка файлов с сервера не режется (1гбит).

В результате: CEIL ограничение при малых R2Q работает отлично, а вот RATE ограничение крайне слабо. Когда запускаю закачку в локальной сети, торрент хоть и уступает часть канала, но скорость скачивания в локальной сети получается порядка 500-700кбит, редко выше. Канал - 7.5мбита, торрент качает 700-800кбайт, когда начинается закачка в локалке - сдает 100-200кбайт но не больше. В Q3 когда слежу за игроком, пинг нормальный (как без торрента все равно что) (без шейпера зашкаливает), когда пытаюсь играть сам - пинг зашкаливает...

Как сделать что бы торрент действительно отдавал весь канал локальной сети ??
...
Рейтинг: 0 / 0
13.09.2010, 11:04
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37000873
eee-pc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
eee-pc
Участник
Добрый ночь.

Меня сейчас мучает теоретический вопрос.

Я настроил месяц назад сервер, поставил шейпер, воставил vmware server (виртуальная машина), на виртуалку поставил ОС и торрентокачалку. Написал правила для шейпера так, что бы виртуальная машина была с минимальным приоритетом.

В результате: в целом система работает: как только юзер начинает качать, виртуальный торрент проседает. При этом в играх есть возможность наблюдения за игроком, но играть самому с полным торрентом не удается пока (возможно стоило поигратся с настройками исходящего шейпера - хз).

Вопрос такой : можно ли подобную систему сделать проще ? т.е. без виртуальной машины?
...
Рейтинг: 0 / 0
08.12.2010, 00:22
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37000975
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
eee-pc, лично у меня никогда это не работало. то есть какие-то лимиты и приоритеты чувствуются, но чтобы точно соблюдало установленные пороги - не получалось.

авторВопрос такой: можно ли подобную систему сделать проще ? т.е. без виртуальной машины?
можно маркировать пакеты на уровне iptables через номера портов или весь-upd-который-не-dns. торрент-клиент ведь на определенном порту работает? если еще не работает - пусть начнет.

Ну и по userid с помощью модуля owner. Только вот написано, что он is only valid in the OUTPUT chain, and even this some packets (such as ICMP ping responses) may have no owner, and hence never match.
То есть ограничивать входящий трафик не получится.
Вообще, это чудо, что его хоть как-то можно ограничивать.
...
Рейтинг: 0 / 0
08.12.2010, 02:57
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37002204
Берлuнгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Берлuнгер
Участник
netwindВообще, это чудо, что его хоть как-то можно ограничивать.
не ограничивается именно нижний предел?

хорошо. тогда такой вопрос - а провайдеры то как решают эту задачу ???
...
Рейтинг: 0 / 0
08.12.2010, 15:00
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37002491
Скотина Тайгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скотина Тайгер
Гость
БерлuнгерnetwindВообще, это чудо, что его хоть как-то можно ограничивать.
не ограничивается именно нижний предел?

хорошо. тогда такой вопрос - а провайдеры то как решают эту задачу ???


А ты не пробовал изучить http://lartc.org/howto/lartc.cookbook.ultimate-tc.html ?
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
########## downlink #############
# slow downloads down to somewhat less than the real speed  to prevent 
# queuing at our ISP. Tune to see how high you can set it.
# ISPs tend to have *huge* queues to make sure big downloads are fast
#
# attach ingress policer:

tc qdisc add dev $DEV handle ffff: ingress

# filter *everything* to it ( 0 . 0 . 0 . 0 / 0 ), drop everything that's
# coming in too fast:

tc filter add dev $DEV parent ffff: protocol ip prio  50  u32 match ip src \
    0 . 0 . 0 . 0 / 0  police rate ${DOWNLINK}kbit burst 10k drop flowid : 1


Или там буквы английские, не понятные?

Вообще эта глупость просто смешна: кто-то когда-то ляпнул дурь, что входящий трафик
нельзя ограничить (только исходящий) и давай мифы строить.
Ну да, нельзя. Но так можно ограничить его отдачу дальше.
...
Рейтинг: 0 / 0
08.12.2010, 16:05
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37002748
Берлuнгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Берлuнгер
Участник
Скотина ТайгерБерлuнгерпропущено...

не ограничивается именно нижний предел?

хорошо. тогда такой вопрос - а провайдеры то как решают эту задачу ???


А ты не пробовал изучить http://lartc.org/howto/lartc.cookbook.ultimate-tc.html ?
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
########## downlink #############
# slow downloads down to somewhat less than the real speed  to prevent 
# queuing at our ISP. Tune to see how high you can set it.
# ISPs tend to have *huge* queues to make sure big downloads are fast
#
# attach ingress policer:

tc qdisc add dev $DEV handle ffff: ingress

# filter *everything* to it ( 0 . 0 . 0 . 0 / 0 ), drop everything that's
# coming in too fast:

tc filter add dev $DEV parent ffff: protocol ip prio  50  u32 match ip src \
    0 . 0 . 0 . 0 / 0  police rate ${DOWNLINK}kbit burst 10k drop flowid : 1


Или там буквы английские, не понятные?

Вообще эта глупость просто смешна: кто-то когда-то ляпнул дурь, что входящий трафик
нельзя ограничить (только исходящий) и давай мифы строить.
Ну да, нельзя. Но так можно ограничить его отдачу дальше.
читал читал

но вот только
1) там все таки сложно, что бы писать с нуля
2) htb и так все тоже делает вообще говоря
3) пинг в играх это не изменит (торрент не будет по команде сбрасывать канал, если кому то надо быстрый канал в 90кбит)
4) входящий нельзя. а все остальное - это исходящий вообще говоря. вопрос был - можно ли сделать проще без виртуалки?

я понимаю что здесь есть умные люди - но пожалуйста! не надо мне продавать то, что мне не надо! если есть более дешевые и простые решения!
...
Рейтинг: 0 / 0
08.12.2010, 17:12
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37002889
Скотина Тайгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скотина Тайгер
Гость
Берлuнгер4) входящий нельзя. а все остальное - это исходящий вообще говоря. вопрос был - можно ли сделать проще без виртуалки?
Все это можно. Есть еще класс устройств imq.
Гугл в помощь.

Берлuнгеря понимаю что здесь есть умные люди
Тут таких практически нет.

Берлuнгересли есть более дешевые и простые решения!
Форум Работа?

Не можешь сам - заплати другим!
...
Рейтинг: 0 / 0
08.12.2010, 18:00
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37003135
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Берлuнгерне надо мне продавать то, что мне не надо! если есть более дешевые и простые решения!
прекратить думать о Всеобщей Пиратском Благе и прекратить раздавать?
...
Рейтинг: 0 / 0
08.12.2010, 20:10
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37003405
Тайгина Скотер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тайгина Скотер
Гость
Скотина Тайгер,
Ограничить-то входящий трафик можно (tcp window size =0), но управлением это назвать можно с большооой натяжкой ... а UDP/ICMP/IGMP входящий контролю вообще не поддается, а торрент как раз на UDP
...
Рейтинг: 0 / 0
09.12.2010, 00:03
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37003471
Скотина Тайгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скотина Тайгер
Гость
Тайгина СкотерСкотина Тайгер,
Ограничить-то входящий трафик можно (tcp window size =0), но управлением это назвать можно с большооой натяжкой ... а UDP/ICMP/IGMP входящий контролю вообще не поддается, а торрент как раз на UDP

Зачотный делирий.
Про ingress, прям вон выше двумя постами - ты вообще ничего не понял?
...
Рейтинг: 0 / 0
09.12.2010, 01:34
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37003698
Тайгина Скотер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тайгина Скотер
Гость
Скотина ТайгерТайгина СкотерСкотина Тайгер,
Ограничить-то входящий трафик можно (tcp window size =0), но управлением это назвать можно с большооой натяжкой ... а UDP/ICMP/IGMP входящий контролю вообще не поддается, а торрент как раз на UDP

Зачотный делирий.
Про ingress, прям вон выше двумя постами - ты вообще ничего не понял?
Мусье осознает, что принятый пакет уже нагрузил канал и его можно только дропнуть, что никоим образом не уменьшит нагрузки канала?
...
Рейтинг: 0 / 0
09.12.2010, 10:02
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37003747
Скотина Тайгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скотина Тайгер
Гость
Тайгина СкотерМусье осознает, что принятый пакет уже нагрузил канал и его можно только дропнуть, что никоим образом не уменьшит нагрузки канала?

Мусье, в отличии от тебя - не пыонер-теоретик, а прожженный практик. Протокол TCP/IP имеет средства авторегулирования. Если пакеты не могут быть приняты на определенной скорости,
то сторона отправитель просто начнет их посылать с меньшей частотой (кури ack пакеты, малыш).

Иначе бы любой перец, который имеет гигабитный интернет на отправке - завалил бы переполнением буферов любой промежуточный раутер или самого получателя, у которого, допустим, всего мегабит или два.
...
Рейтинг: 0 / 0
09.12.2010, 10:24
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37003990
Тайгина Скотер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тайгина Скотер
Гость
Скотина ТайгерТайгина СкотерМусье осознает, что принятый пакет уже нагрузил канал и его можно только дропнуть, что никоим образом не уменьшит нагрузки канала?

Мусье, в отличии от тебя - не пыонер-теоретик, а прожженный практик. Протокол TCP/IP имеет средства авторегулирования. Если пакеты не могут быть приняты на определенной скорости,
то сторона отправитель просто начнет их посылать с меньшей частотой (кури ack пакеты, малыш).

Иначе бы любой перец, который имеет гигабитный интернет на отправке - завалил бы переполнением буферов любой промежуточный раутер или самого получателя, у которого, допустим, всего мегабит или два.
Херовый ты практик. Покажи мне ACK в UDP дейтаграмме, а не пальцы гни в апофеозе необоснованных обобщений ;-) Или мусье не понимает что UDP это не TCP ?
...
Рейтинг: 0 / 0
09.12.2010, 11:54
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37004054
Тайгина Скотер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тайгина Скотер
Гость
Скотина ТайгерТайгина СкотерМусье осознает, что принятый пакет уже нагрузил канал и его можно только дропнуть, что никоим образом не уменьшит нагрузки канала?

Мусье, в отличии от тебя - не пыонер-теоретик, а прожженный практик. Протокол TCP/IP имеет средства авторегулирования. Если пакеты не могут быть приняты на определенной скорости,
то сторона отправитель просто начнет их посылать с меньшей частотой (кури ack пакеты, малыш).

Иначе бы любой перец, который имеет гигабитный интернет на отправке - завалил бы переполнением буферов любой промежуточный раутер или самого получателя, у которого, допустим, всего мегабит или два.
Чож ты так тупишь нещадно? Транзитный трафик на раутере в сторону узкого канала является исходящим, поскольку пакет уходит в сетевой интерфейс. А входящий трафик от перца с широким каналом ограничить невозможно, за исключением TCP WIN=0. К тому же ACK это не пакет вовсе, но ты же практик, тебе пофигу ;-)
...
Рейтинг: 0 / 0
09.12.2010, 12:09
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37004088
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Тайгина Скотер, но ведь на практике торрент-клиент не посылает пакеты udp слишком быстро если не видит ответа с той стороны. В некотором роде это и есть ACK реализованные в программе.
...
Рейтинг: 0 / 0
09.12.2010, 12:19
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37004198
Тайгина Скотер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тайгина Скотер
Гость
netwindТайгина Скотер, но ведь на практике торрент-клиент не посылает пакеты udp слишком быстро если не видит ответа с той стороны. В некотором роде это и есть ACK реализованные в программе.
Это контроль уровня приложения, а не управление трафиком - вынужденная мера, поскольку UDP пакеты передаются без подтверждения по определению протокола, в нем нету понятия сокета и смещения по потоку. Файл скачивается не целиком, а по блокам, причем по возможности из разных источников-сидов. Так что личер не попросил блока - сидер не передал. И если личер не принял блока (не важно по какой причине) - он запрашивает его снова, а если принял, то только тогда запрашивает следующий из того же источника.
...
Рейтинг: 0 / 0
09.12.2010, 12:45
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37004228
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Тайгина Скотер, и что? Факт в том, что если замедлять "появление" этого блока у приложения, это будет влиять на скорость скачивания и в итоге разгрузит канал.
...
Рейтинг: 0 / 0
09.12.2010, 12:54
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37004241
Тайгина Скотер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тайгина Скотер
Гость
netwind,
Вопрос-то в управлении трафиком на сетевом уровне, а не на уровне приложения.
...
Рейтинг: 0 / 0
09.12.2010, 13:00
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37004294
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Тайгина Скотер, вопрос во взаимодействии. Управляешь трафиком на сетевом уровне, а скорость сбавляет приложение.
...
Рейтинг: 0 / 0
09.12.2010, 13:13
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37004379
Тайгина Скотер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тайгина Скотер
Гость
netwindТайгина Скотер, вопрос во взаимодействии. Управляешь трафиком на сетевом уровне, а скорость сбавляет приложение.
Это пародия на управление: косвенно управлять входящим трафиком путем зажимания исходящего. Для торрента может такой костыль и сгодится.
...
Рейтинг: 0 / 0
09.12.2010, 13:42
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37004408
Скотина Тайгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скотина Тайгер
Гость
netwindТайгина Скотер, вопрос во взаимодействии. Управляешь трафиком на сетевом уровне, а скорость сбавляет приложение.

Вопрос лишь в том, способно-ли это приложение это делать. К примеру тот-же skype может и понизить битрейт, а может и просто начать делать "провалы в речи" - когда слышны лишь отдельные слова.

С другой стороны - а кто говорил, что ingress - это решение всех проблем? Вообще говоря - это лишь
еще один (последний) способ ограничить входящий rate (и, кстати, полезен для блокирования не внешнего канала, а больше пассажиров в своей внутренней сети, тот-же поток DHT/UDP со стороны твоего писюка во внешний мир).

Но задержку пакета в очереди на отдачу (egress, в т.ч. через imq) - никто не отменял.


Но опять-же, мы много видели торрент-клиентов, которые шлют udp на максимальной скорости (по 10 и 100 мегабайт в секунду), если раутер тупо дропает их пакеты, без уведомления?

И каким образом управление трафиком tcp (типо сетевой уровень) принципиально отличается от udp уровня приложения? Так или иначе сторонами осуществляется регулирования рейта (или на уровне операционной системы, или на уровне приложения - не суть разница).

Короче.
...
Рейтинг: 0 / 0
09.12.2010, 13:51
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37004436
Тайгина Скотер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тайгина Скотер
Гость
Скотина ТайгерИ каким образом управление трафиком tcp (типо сетевой уровень) принципиально отличается от udp уровня приложения? Так или иначе сторонами осуществляется регулирования рейта (или на уровне операционной системы, или на уровне приложения - не суть разница).
Короче.
В TCP при получении пакета с WIN=0 передающий данные уведомляется о временной невозможности принимающей стороны их получать, передача данных по сокету приостанавливается до момента высылания принимающей стороной пакета с WIN>0. Встроенное в стек средство управления потоком.
...
Рейтинг: 0 / 0
09.12.2010, 14:01
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37004488
Скотина Тайгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скотина Тайгер
Гость
Тайгина СкотерСкотина ТайгерИ каким образом управление трафиком tcp (типо сетевой уровень) принципиально отличается от udp уровня приложения? Так или иначе сторонами осуществляется регулирования рейта (или на уровне операционной системы, или на уровне приложения - не суть разница).
Короче.
В TCP при получении пакета с WIN=0 передающий данные уведомляется о временной невозможности принимающей стороны их получать, передача данных по сокету приостанавливается до момента высылания принимающей стороной пакета с WIN>0. Встроенное в стек средство управления потоком.


Отлично. Но вопрос был - какие существуют в принципиальных отличия.
Вот теперь найди причину, почему utorrent не забивает udp трафиком все возможные 100/1000 мегабит (если стоит ingress перед ним).

А потом сравни реализации.

Сможешь?
...
Рейтинг: 0 / 0
09.12.2010, 14:16
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37004924
Берлuнгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Берлuнгер
Участник
Уважаемые!

Я понимаю что вы первоклассные специалисты (один как минимум - много знает и теории и опыта, но молчит сцуко - не икак синдром вахтера). Но вы можете выдать мне нормальное простое решение ?
...
Рейтинг: 0 / 0
09.12.2010, 16:26
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37004969
Скотина Тайгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скотина Тайгер
Гость
БерлuнгерУважаемые!

Я понимаю что вы первоклассные специалисты (один как минимум - много знает и теории и опыта, но молчит сцуко - не икак синдром вахтера). Но вы можете выдать мне нормальное простое решение ?

А зачем нам это делать?
...
Рейтинг: 0 / 0
09.12.2010, 16:43
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005005
PA3YM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PA3YM
Участник
БерлuнгерУважаемые!

Я понимаю что вы первоклассные специалисты (один как минимум - много знает и теории и опыта, но молчит сцуко - не икак синдром вахтера). Но вы можете выдать мне нормальное простое решение ?
Наверное потому, что его нету? ;-)
...
Рейтинг: 0 / 0
09.12.2010, 16:53
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005078
Берлuнгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Берлuнгер
Участник
Скотина ТайгерБерлuнгерУважаемые!

Я понимаю что вы первоклассные специалисты (один как минимум - много знает и теории и опыта, но молчит сцуко - не икак синдром вахтера). Но вы можете выдать мне нормальное простое решение ?

А зачем нам это делать?
заканчивай выпендриваца
...
Рейтинг: 0 / 0
09.12.2010, 17:10
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005080
Берлuнгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Берлuнгер
Участник
PA3YMБерлuнгерУважаемые!

Я понимаю что вы первоклассные специалисты (один как минимум - много знает и теории и опыта, но молчит сцуко - не икак синдром вахтера). Но вы можете выдать мне нормальное простое решение ?
Наверное потому, что его нету? ;-)
"интуиция - способность головы думать жопой"
моя жопа считает что оно есть!
...
Рейтинг: 0 / 0
09.12.2010, 17:10
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005110
PA3YM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PA3YM
Участник
БерлuнгерPA3YMпропущено...

Наверное потому, что его нету? ;-)
"интуиция - способность головы думать жопой"
моя жопа считает что оно есть!
Моя голова утверждает ;-) что, поскольку для торрента UDP транспорт был выбран именно за скорость доставки пакетов - проблема решается только на уровне приложения. Например KTorrent имеет в настройках как Maximum upload speed так и Maximum download speed. Понятно, что очередной чанк файла он забирает со скоростью отдающего, но за следующим он пойдет только через некоторый промежуток времени, так, чтобы в среднем не превысить лимит закачки.
...
Рейтинг: 0 / 0
09.12.2010, 17:20
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005131
Берлuнгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Берлuнгер
Участник
PA3YMМоя голова утверждает ;-) что, поскольку для торрента UDP транспорт был выбран именно за скорость доставки пакетов - проблема решается только на уровне приложения. Например KTorrent имеет в настройках как Maximum upload speed так и Maximum download speed. Понятно, что очередной чанк файла он забирает со скоростью отдающего, но за следующим он пойдет только через некоторый промежуток времени, так, чтобы в среднем не превысить лимит закачки.
это круто и понятно.

как это влияет на сервер ? сервер занимается шейпингом, а торрент висит на виртуалке на сервере...
...
Рейтинг: 0 / 0
09.12.2010, 17:29
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005228
PA3YM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PA3YM
Участник
БерлuнгерPA3YMМоя голова утверждает ;-) что, поскольку для торрента UDP транспорт был выбран именно за скорость доставки пакетов - проблема решается только на уровне приложения. Например KTorrent имеет в настройках как Maximum upload speed так и Maximum download speed. Понятно, что очередной чанк файла он забирает со скоростью отдающего, но за следующим он пойдет только через некоторый промежуток времени, так, чтобы в среднем не превысить лимит закачки.
это круто и понятно.

как это влияет на сервер ? сервер занимается шейпингом, а торрент висит на виртуалке на сервере...
eee-pc это тоже Вы?
...
Рейтинг: 0 / 0
09.12.2010, 17:59
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005255
Берлuнгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Берлuнгер
Участник
PA3YMБерлuнгерпропущено...

это круто и понятно.

как это влияет на сервер ? сервер занимается шейпингом, а торрент висит на виртуалке на сервере...
eee-pc это тоже Вы?
да
...
Рейтинг: 0 / 0
09.12.2010, 18:07
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005425
PA3YM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PA3YM
Участник
БерлuнгерPA3YMпропущено...

eee-pc это тоже Вы?
да
Я правильно понимаю - виртуалка была установлена лишь потому, что не получилось классифицировать пакеты маркерами и возникла идея посадить торрент на отдельный IP таким макаром? Какой трафик мешает - тот, что вы скачиваете, тот, что на отдачу или оба?
...
Рейтинг: 0 / 0
09.12.2010, 19:52
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005521
Техничкин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Техничкин
Гость
PA3YMБерлuнгерпропущено...

"интуиция - способность головы думать жопой"
моя жопа считает что оно есть!
Моя голова утверждает ;-) что, поскольку для торрента UDP транспорт был выбран именно за скорость доставки пакетов - проблема решается только на уровне приложения. Например KTorrent имеет в настройках как Maximum upload speed так и Maximum download speed. Понятно, что очередной чанк файла он забирает со скоростью отдающего, но за следующим он пойдет только через некоторый промежуток времени, так, чтобы в среднем не превысить лимит закачки.

ЗачОтный бред. Пиши еще, далеко пойдешь.
...
Рейтинг: 0 / 0
09.12.2010, 21:28
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005663
PA3YM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PA3YM
Участник
ТехничкинPA3YMпропущено...

Моя голова утверждает ;-) что, поскольку для торрента UDP транспорт был выбран именно за скорость доставки пакетов - проблема решается только на уровне приложения. Например KTorrent имеет в настройках как Maximum upload speed так и Maximum download speed. Понятно, что очередной чанк файла он забирает со скоростью отдающего, но за следующим он пойдет только через некоторый промежуток времени, так, чтобы в среднем не превысить лимит закачки.

ЗачОтный бред. Пиши еще, далеко пойдешь.
Перечитал спецификацию протокола bittorrent и вынужден согласиться - клиенты обмениваются файлами по TCP а по UDP ходит DHT. Почему-то считал, что TCP для трекера и UDP для трансфера, каюсь.
P.S.
А вам бы только поржать ;-)
...
Рейтинг: 0 / 0
09.12.2010, 23:09
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005727
PA3YM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PA3YM
Участник
Техничкин,

Кстати. Несмотря на мою путаницу с протоколами наблюдение за трафиком показывает, что при скачивании 256К сегмента скачиваются 16К 'piece' со скоростью отдачи сида, после чего торрент клиент делает паузу тем больше, чем сильнее зажата скорость скачивания. Так что смысла вашей реплики я так и не понял (если вы не тролль и смысл имел место быть).
tshark
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
2010-12-09 22:35:15.693366    10.0.33.1 -> 109.251.102.181 BitTorrent Request, Piece (Idx:0x371,Begin:0x254000,Len:0x4000)  
2010-12-09 22:35:15.695625 109.251.102.181 -> 10.0.33.1    TCP [TCP segment of a reassembled PDU]
2010-12-09 22:35:15.695672    10.0.33.1 -> 109.251.102.181 TCP 38124 > 12341 [ACK] Seq=360 Ack=67668 Win=291 Len=0 TSV=6460019 TSER=6282718
...
2010-12-09 22:35:15.697171    10.0.33.1 -> 109.251.102.181 TCP 38124 > 12341 [ACK] Seq=360 Ack=82617 Win=353 Len=0 TSV=6460020 TSER=6282718
 а вот и пауза 16 сек 
2010-12-09 22:35:31.193515    10.0.33.1 -> 109.251.102.181 BitTorrent Request, Piece (Idx:0x371,Begin:0x258000,Len:0x4000)  
2010-12-09 22:35:31.196589 109.251.102.181 -> 10.0.33.1    TCP [TCP segment of a reassembled PDU]
...
Рейтинг: 0 / 0
10.12.2010, 00:00
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005772
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
PA3YMПеречитал спецификацию протокола bittorrent и вынужден согласиться - клиенты обмениваются файлами по TCP а по UDP ходит DHT. Почему-то считал, что TCP для трекера и UDP для трансфера, каюсь.
вот почему :µTP - переимплементация TCP на основе протокола UDP с измененным контролем за переполнением, который реагирует раньше, чем соответствующий алгоритм в TCP. Таким образом, при увеличении загрузки канала µTP первым замедляется и отдает канал другим приложениям
Главный Пиратский Клиент ее поддерживает и активно развивает.
...
Рейтинг: 0 / 0
10.12.2010, 00:30
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005773
Техничкин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Техничкин
Гость
PA3YMТехничкин,

Кстати. Несмотря на мою путаницу с протоколами наблюдение за трафиком показывает, что при скачивании 256К сегмента скачиваются 16К 'piece' со скоростью отдачи сида, после чего торрент клиент делает паузу тем больше, чем сильнее зажата скорость скачивания. Так что смысла вашей реплики я так и не понял (если вы не тролль и смысл имел место быть).

Специально для тебя и того упоротого балбеса, который сегодня выступал о том, что управлять UTP трафиком ну никак нельзя (и UTP используется и для передачи данных, не только для поиска пиров по DHT).

Статья специально для колхозников: http://habrahabr.ru/blogs/p2p/68332/

авторЗамечу, что в uTP это делается всегда, даже в версии 1.8, а скорость TCP-трафика подстраивается под загрузку канала только в 2.0. В uTP постоянно меряется время отклика от пиров, с которыми происходит обмен данными. как только этот «пинг» начинает увеличиваться, задолго до начала потерь пакетов, µTorrent сбавляет скорость.
...
Рейтинг: 0 / 0
10.12.2010, 00:31
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005781
Техничкин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Техничкин
Гость
Техничкин

Я там оговорился в одном месте. s/UTP/UDP
...
Рейтинг: 0 / 0
10.12.2010, 00:33
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005815
PA3YM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PA3YM
Участник
ТехничкинPA3YMТехничкин,

Кстати. Несмотря на мою путаницу с протоколами наблюдение за трафиком показывает, что при скачивании 256К сегмента скачиваются 16К 'piece' со скоростью отдачи сида, после чего торрент клиент делает паузу тем больше, чем сильнее зажата скорость скачивания. Так что смысла вашей реплики я так и не понял (если вы не тролль и смысл имел место быть).

Специально для тебя и того упоротого балбеса, который сегодня выступал о том, что управлять UTP трафиком ну никак нельзя (и UTP используется и для передачи данных, не только для поиска пиров по DHT).

Статья специально для колхозников: http://habrahabr.ru/blogs/p2p/68332/

авторЗамечу, что в uTP это делается всегда, даже в версии 1.8, а скорость TCP-трафика подстраивается под загрузку канала только в 2.0. В uTP постоянно меряется время отклика от пиров, с которыми происходит обмен данными. как только этот «пинг» начинает увеличиваться, задолго до начала потерь пакетов, µTorrent сбавляет скорость.
И что? Потоком данных управляет клиентское приложение и пофигу какой там у него протокол транспортного уровня. Админу, рулящему маршрутизатором, это никаких преимуществ не дает. А это новшество в торрент протоколе не более чем инкапсуляция хоть в TCP, хоть в UDP своего ( uTP хе-хе) протокола, именно который и содержит более удобный механизм обработки затыков в трафике. Так что почитай драфт на английском и угомонись.
...
Рейтинг: 0 / 0
10.12.2010, 01:17
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005833
Техничкин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Техничкин
Гость
PA3YMИ что? Потоком данных управляет клиентское приложение и пофигу какой там у него протокол транспортного уровня. Админу, рулящему маршрутизатором, это никаких преимуществ не дает.

Какой запущенный случай. Итак, детишки.

Админ настроил ingress на 2 килобайта в секунду. Все, что выше - тупо дропается (в т.ч. TCP или UDP пакеты).
Внешний канал - 100 мегабит, внутренний - 100 мегабит.
Почему не происходит такого, что клиент, который сидит ПЕРЕД шейпером на 2к - забивает внутренний канал на все 100 мегабит (т.е. не доходя еще до шейпера)?

В utorrent не стоит стоит на скорость отправки . Т.е. должно слаться максимально быстро. И?

Кто там чем управляет?
...
Рейтинг: 0 / 0
10.12.2010, 01:52
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005837
Техничкин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Техничкин
Гость
ТехничкинКто там чем управляет?

И сразу вопрос два. Берем любую иную программу. В которой нет и намека на управление скоростью трафика внутри (на уровне приложения). ftp, smb, nfs, http, sip, да что угодно.

Почему тупо дропание (уничтожение без уведомления) лишних пакетов позволяет снизить скорость, и более того - держать ее на строго заданном уровне?
...
Рейтинг: 0 / 0
10.12.2010, 02:00
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005841
PA3YM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PA3YM
Участник
netwindPA3YMПеречитал спецификацию протокола bittorrent и вынужден согласиться - клиенты обмениваются файлами по TCP а по UDP ходит DHT. Почему-то считал, что TCP для трекера и UDP для трансфера, каюсь.
вот почему :µTP - переимплементация TCP на основе протокола UDP с измененным контролем за переполнением, который реагирует раньше, чем соответствующий алгоритм в TCP. Таким образом, при увеличении загрузки канала µTP первым замедляется и отдает канал другим приложениям
Главный Пиратский Клиент ее поддерживает и активно развивает.
Почитал драфт протокола. Идея вроде неплохая. buffer delay based congestion control. Хотя и CUBIC вроде нормально заторы разгребает.
...
Рейтинг: 0 / 0
10.12.2010, 02:24
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37005843
PA3YM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PA3YM
Участник
ТехничкинPA3YMИ что? Потоком данных управляет клиентское приложение и пофигу какой там у него протокол транспортного уровня. Админу, рулящему маршрутизатором, это никаких преимуществ не дает.

Какой запущенный случай. Итак, детишки.

Админ настроил ingress на 2 килобайта в секунду. Все, что выше - тупо дропается (в т.ч. TCP или UDP пакеты).
Внешний канал - 100 мегабит, внутренний - 100 мегабит.
Почему не происходит такого, что клиент, который сидит ПЕРЕД шейпером на 2к - забивает внутренний канал на все 100 мегабит (т.е. не доходя еще до шейпера)?

В utorrent не стоит стоит на скорость отправки . Т.е. должно слаться максимально быстро. И?

Кто там чем управляет?
Ты либо тупой, либо тролль, а скорее всего и то, и другое. Читай главу congestion control драфта.
...
Рейтинг: 0 / 0
10.12.2010, 02:37
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37006228
eee-pc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
eee-pc
Участник
PA3YMБерлuнгерпропущено...

да
Я правильно понимаю - виртуалка была установлена лишь потому, что не получилось классифицировать пакеты маркерами и возникла идея посадить торрент на отдельный IP таким макаром? Какой трафик мешает - тот, что вы скачиваете, тот, что на отдачу или оба?
да, для этого. причем у меня такое ощущение, что это работает.

оба трафика мешают.
...
Рейтинг: 0 / 0
10.12.2010, 10:17
| Ответить | Цитировать | Написать  
Шейпер... (теоретические вопросы и не только)
    #37006479
Скотина Тайгер
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скотина Тайгер
Гость
PA3YMТы либо тупой, либо тролль, а скорее всего и то, и другое. Читай главу congestion control драфта.

Зачем мне твой драфт? Ты давай, просвети нас насчет других протоколов. http (tcp) или nfs (по udp).

Там какой congestion control, чудо?
...
Рейтинг: 0 / 0
10.12.2010, 11:18
| Ответить | Цитировать | Написать  
48 сообщений из 48, показаны все 2 страниц
  все  
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Шейпер... (теоретические вопросы и не только)
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=25&tid=1484547]:
 0ms
get settings:
 10ms
get forum list:
 16ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 182ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 84ms
get tp. blocked users:
 1ms
others: 242ms
total:  555ms
созд. / загр.: 555ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]