Шейпер... (теоретические вопросы и не только) / Unix-системы

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Шейпер... (теоретические вопросы и не только)

25 сообщений из 48, страница 1 из 2

все

Шейпер... (теоретические вопросы и не только)

#36840083

Берлuнгер

Участник

Сообщения: 5 130

Рейтинг: 0 / 0

Есть машинка ububtu с NAT на базе MASQUERADE.
На ней же бегает торрент клиент.

1) если я добавляю в правило

Код: plaintext

iptables -t mangle -A POSTROUTING -o $WAN -j MARK --set-mark 222

то влияет ли оно на

Код: plaintext

iptables -t nat -A POSTROUTING -o $WAN -j MASQUERADE

(или это два независимых и исполняются оба)

соотвественно в шейпере (htb.init) пишу вместо RULE=ip, пишу MARK=222

2) Каким образом резать торрент клиент, крутящийся на самом сервере? (порт под торрент клиент один)

3) Если у меня несколько локальных интерфейсов (eth0 - локалка, eth1 - интернет, какой нибудь vmnet0 - это bridge от виртуальной машины), то влияет ли это как то на процесс, или достаточно маркировать пакеты ?

...

Рейтинг:

0 / 0

10.09.2010, 12:59

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#36840299

Берлuнгер

Участник

Сообщения: 5 130

Рейтинг: 0 / 0

еще у мну вопрос: немаркированные пакеты (если в шейпере нет для них правил) проходят без шейпинга ??

...

Рейтинг:

0 / 0

10.09.2010, 13:57

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#36843046

eee-pc

Участник

Сообщения: 5 225

Рейтинг: 0 / 0

Итак.
Повозился на выходных с шейпером:
поставил htb.init, маркировать пакеты толком не удалось - пришлось прописывать все руками в конфиге htb.init
Для качалки торрента создал на сервере виртуалку на базе vmware-server, сеть виртуалки bridged, адрес 192.168.1.3 (сервера 192.168.1.2)

Получился следующий конфиг (eth0-локалка, eth1 - инет)

eth0

Код: plaintext

1.
2.

R2Q= 5 
DEFAULT= 28

примечание: игрался с r2q: при значениях больше 100 шейпер не особо круто обеспечивает CEIL (если поставлено 3мбит, качать может 3.2-3.4мбита, при этом практически не разруливает приоритеты. с значением 5 более менее чего то разруливает)

eth0-2

Код: plaintext

RATE=1Gbit

примечание: на сам сервер - файлопомойка, поэтому нужен гигабитный канал в локалку если качать с сервера. переносить файлопомойу на виртуалку чесна желания нет -- риск потери данных.\

eth0-2:20 (локальный трафик - от сервера в локалку)

Код: plaintext

1.
2.
3.
4.
5.

PRIO= 9 
RATE=1Gbit
CEIL=1Gbit
LEAF=sfq
RULE= 192 . 168 . 1 . 0 / 24 , 192 . 168 . 1 . 0 / 24

eth0-2:26 (торрент)

Код: plaintext

1.
2.
3.
4.
5.
6.
7.

PRIO= 999 
RATE=1000Kbit
CEIL=7000Kbit
LEAF=sfq
MARK= 6 
RULE=,: 51790 
RULE=, 192 . 168 . 1 . 3

eth0-2:27 (резерв)

Код: plaintext

1.
2.
3.
4.
5.

PRIO= 5 
RATE=2000Kbit
CEIL=4000Kbit
LEAF=sfq
MARK= 5

eth0-2:28 (трафик в локалку - приоритетный трафик)

Код: plaintext

1.
2.
3.
4.
5.
6.

PRIO= 4 
RATE=4200Kbit
CEIL=6000Kbit
LEAF=sfq
MARK= 4 
RULE=, 192 . 168 . 1 . 0 / 24

судя по логам htb state, торрент трафик действительно попадает в 26 класс, а локальный трафик - в 28. При этом также выводил определенный комп в 27 класс посредством RULE -- похоже на то, что работает. Закачка файлов с сервера не режется (1гбит).

В результате: CEIL ограничение при малых R2Q работает отлично, а вот RATE ограничение крайне слабо. Когда запускаю закачку в локальной сети, торрент хоть и уступает часть канала, но скорость скачивания в локальной сети получается порядка 500-700кбит, редко выше. Канал - 7.5мбита, торрент качает 700-800кбайт, когда начинается закачка в локалке - сдает 100-200кбайт но не больше. В Q3 когда слежу за игроком, пинг нормальный (как без торрента все равно что) (без шейпера зашкаливает), когда пытаюсь играть сам - пинг зашкаливает...

Как сделать что бы торрент действительно отдавал весь канал локальной сети ??

...

Рейтинг:

0 / 0

13.09.2010, 11:04

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37000873

eee-pc

Участник

Сообщения: 5 225

Рейтинг: 0 / 0

Добрый ночь.

Меня сейчас мучает теоретический вопрос.

Я настроил месяц назад сервер, поставил шейпер, воставил vmware server (виртуальная машина), на виртуалку поставил ОС и торрентокачалку. Написал правила для шейпера так, что бы виртуальная машина была с минимальным приоритетом.

В результате: в целом система работает: как только юзер начинает качать, виртуальный торрент проседает. При этом в играх есть возможность наблюдения за игроком, но играть самому с полным торрентом не удается пока (возможно стоило поигратся с настройками исходящего шейпера - хз).

Вопрос такой : можно ли подобную систему сделать проще ? т.е. без виртуальной машины?

...

Рейтинг:

0 / 0

08.12.2010, 00:22

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37000975

netwind

Участник

Сообщения: 14 195

Рейтинг: 0 / 0

eee-pc, лично у меня никогда это не работало. то есть какие-то лимиты и приоритеты чувствуются, но чтобы точно соблюдало установленные пороги - не получалось.

авторВопрос такой: можно ли подобную систему сделать проще ? т.е. без виртуальной машины?
можно маркировать пакеты на уровне iptables через номера портов или весь-upd-который-не-dns. торрент-клиент ведь на определенном порту работает? если еще не работает - пусть начнет.

Ну и по userid с помощью модуля owner. Только вот написано, что он is only valid in the OUTPUT chain, and even this some packets (such as ICMP ping responses) may have no owner, and hence never match.
То есть ограничивать входящий трафик не получится.
Вообще, это чудо, что его хоть как-то можно ограничивать.

...

Рейтинг:

0 / 0

08.12.2010, 02:57

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37002204

Берлuнгер

Участник

Сообщения: 5 130

Рейтинг: 0 / 0

netwindВообще, это чудо, что его хоть как-то можно ограничивать.
не ограничивается именно нижний предел?

хорошо. тогда такой вопрос - а провайдеры то как решают эту задачу ???

...

Рейтинг:

0 / 0

08.12.2010, 15:00

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37002491

Скотина Тайгер

Гость

БерлuнгерnetwindВообще, это чудо, что его хоть как-то можно ограничивать.
не ограничивается именно нижний предел?

хорошо. тогда такой вопрос - а провайдеры то как решают эту задачу ???

А ты не пробовал изучить http://lartc.org/howto/lartc.cookbook.ultimate-tc.html ?

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.

########## downlink #############
# slow downloads down to somewhat less than the real speed  to prevent 
# queuing at our ISP. Tune to see how high you can set it.
# ISPs tend to have *huge* queues to make sure big downloads are fast
#
# attach ingress policer:

tc qdisc add dev $DEV handle ffff: ingress

# filter *everything* to it ( 0 . 0 . 0 . 0 / 0 ), drop everything that's
# coming in too fast:

tc filter add dev $DEV parent ffff: protocol ip prio  50  u32 match ip src \
    0 . 0 . 0 . 0 / 0  police rate ${DOWNLINK}kbit burst 10k drop flowid : 1

...

Рейтинг:

0 / 0

08.12.2010, 16:05

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37002748

Берлuнгер

Участник

Сообщения: 5 130

Рейтинг: 0 / 0

Скотина ТайгерБерлuнгерпропущено...

не ограничивается именно нижний предел?

хорошо. тогда такой вопрос - а провайдеры то как решают эту задачу ???

А ты не пробовал изучить http://lartc.org/howto/lartc.cookbook.ultimate-tc.html ?

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.

########## downlink #############
# slow downloads down to somewhat less than the real speed  to prevent 
# queuing at our ISP. Tune to see how high you can set it.
# ISPs tend to have *huge* queues to make sure big downloads are fast
#
# attach ingress policer:

tc qdisc add dev $DEV handle ffff: ingress

# filter *everything* to it ( 0 . 0 . 0 . 0 / 0 ), drop everything that's
# coming in too fast:

tc filter add dev $DEV parent ffff: protocol ip prio  50  u32 match ip src \
    0 . 0 . 0 . 0 / 0  police rate ${DOWNLINK}kbit burst 10k drop flowid : 1

Или там буквы английские, не понятные?

Вообще эта глупость просто смешна: кто-то когда-то ляпнул дурь, что входящий трафик
нельзя ограничить (только исходящий) и давай мифы строить.
Ну да, нельзя. Но так можно ограничить его отдачу дальше.
читал читал

но вот только
1) там все таки сложно, что бы писать с нуля
2) htb и так все тоже делает вообще говоря
3) пинг в играх это не изменит (торрент не будет по команде сбрасывать канал, если кому то надо быстрый канал в 90кбит)
4) входящий нельзя. а все остальное - это исходящий вообще говоря. вопрос был - можно ли сделать проще без виртуалки?

я понимаю что здесь есть умные люди - но пожалуйста! не надо мне продавать то, что мне не надо! если есть более дешевые и простые решения!

...

Рейтинг:

0 / 0

08.12.2010, 17:12

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37002889

Скотина Тайгер

Гость

Берлuнгер4) входящий нельзя. а все остальное - это исходящий вообще говоря. вопрос был - можно ли сделать проще без виртуалки?
Все это можно. Есть еще класс устройств imq.
Гугл в помощь.

Берлuнгеря понимаю что здесь есть умные люди
Тут таких практически нет.

Берлuнгересли есть более дешевые и простые решения!
Форум Работа?

Не можешь сам - заплати другим!

...

Рейтинг:

0 / 0

08.12.2010, 18:00

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37003135

netwind

Участник

Сообщения: 14 195

Рейтинг: 0 / 0

Берлuнгерне надо мне продавать то, что мне не надо! если есть более дешевые и простые решения!
прекратить думать о Всеобщей Пиратском Благе и прекратить раздавать?

...

Рейтинг:

0 / 0

08.12.2010, 20:10

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37003405

Тайгина Скотер

Гость

Скотина Тайгер,
Ограничить-то входящий трафик можно (tcp window size =0), но управлением это назвать можно с большооой натяжкой ... а UDP/ICMP/IGMP входящий контролю вообще не поддается, а торрент как раз на UDP

...

Рейтинг:

0 / 0

09.12.2010, 00:03

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37003471

Скотина Тайгер

Гость

Тайгина СкотерСкотина Тайгер,
Ограничить-то входящий трафик можно (tcp window size =0), но управлением это назвать можно с большооой натяжкой ... а UDP/ICMP/IGMP входящий контролю вообще не поддается, а торрент как раз на UDP

Зачотный делирий.
Про ingress, прям вон выше двумя постами - ты вообще ничего не понял?

...

Рейтинг:

0 / 0

09.12.2010, 01:34

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37003698

Тайгина Скотер

Гость

Скотина ТайгерТайгина СкотерСкотина Тайгер,
Ограничить-то входящий трафик можно (tcp window size =0), но управлением это назвать можно с большооой натяжкой ... а UDP/ICMP/IGMP входящий контролю вообще не поддается, а торрент как раз на UDP

Зачотный делирий.
Про ingress, прям вон выше двумя постами - ты вообще ничего не понял?
Мусье осознает, что принятый пакет уже нагрузил канал и его можно только дропнуть, что никоим образом не уменьшит нагрузки канала?

...

Рейтинг:

0 / 0

09.12.2010, 10:02

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37003747

Скотина Тайгер

Гость

Тайгина СкотерМусье осознает, что принятый пакет уже нагрузил канал и его можно только дропнуть, что никоим образом не уменьшит нагрузки канала?

Мусье, в отличии от тебя - не пыонер-теоретик, а прожженный практик. Протокол TCP/IP имеет средства авторегулирования. Если пакеты не могут быть приняты на определенной скорости,
то сторона отправитель просто начнет их посылать с меньшей частотой (кури ack пакеты, малыш).

Иначе бы любой перец, который имеет гигабитный интернет на отправке - завалил бы переполнением буферов любой промежуточный раутер или самого получателя, у которого, допустим, всего мегабит или два.

...

Рейтинг:

0 / 0

09.12.2010, 10:24

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37003990

Тайгина Скотер

Гость

Скотина ТайгерТайгина СкотерМусье осознает, что принятый пакет уже нагрузил канал и его можно только дропнуть, что никоим образом не уменьшит нагрузки канала?

Мусье, в отличии от тебя - не пыонер-теоретик, а прожженный практик. Протокол TCP/IP имеет средства авторегулирования. Если пакеты не могут быть приняты на определенной скорости,
то сторона отправитель просто начнет их посылать с меньшей частотой (кури ack пакеты, малыш).

Иначе бы любой перец, который имеет гигабитный интернет на отправке - завалил бы переполнением буферов любой промежуточный раутер или самого получателя, у которого, допустим, всего мегабит или два.
Херовый ты практик. Покажи мне ACK в UDP дейтаграмме, а не пальцы гни в апофеозе необоснованных обобщений ;-) Или мусье не понимает что UDP это не TCP ?

...

Рейтинг:

0 / 0

09.12.2010, 11:54

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37004054

Тайгина Скотер

Гость

Скотина ТайгерТайгина СкотерМусье осознает, что принятый пакет уже нагрузил канал и его можно только дропнуть, что никоим образом не уменьшит нагрузки канала?

Мусье, в отличии от тебя - не пыонер-теоретик, а прожженный практик. Протокол TCP/IP имеет средства авторегулирования. Если пакеты не могут быть приняты на определенной скорости,
то сторона отправитель просто начнет их посылать с меньшей частотой (кури ack пакеты, малыш).

Иначе бы любой перец, который имеет гигабитный интернет на отправке - завалил бы переполнением буферов любой промежуточный раутер или самого получателя, у которого, допустим, всего мегабит или два.
Чож ты так тупишь нещадно? Транзитный трафик на раутере в сторону узкого канала является исходящим, поскольку пакет уходит в сетевой интерфейс. А входящий трафик от перца с широким каналом ограничить невозможно, за исключением TCP WIN=0. К тому же ACK это не пакет вовсе, но ты же практик, тебе пофигу ;-)

...

Рейтинг:

0 / 0

09.12.2010, 12:09

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37004088

netwind

Участник

Сообщения: 14 195

Рейтинг: 0 / 0

Тайгина Скотер, но ведь на практике торрент-клиент не посылает пакеты udp слишком быстро если не видит ответа с той стороны. В некотором роде это и есть ACK реализованные в программе.

...

Рейтинг:

0 / 0

09.12.2010, 12:19

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37004198

Тайгина Скотер

Гость

netwindТайгина Скотер, но ведь на практике торрент-клиент не посылает пакеты udp слишком быстро если не видит ответа с той стороны. В некотором роде это и есть ACK реализованные в программе.
Это контроль уровня приложения, а не управление трафиком - вынужденная мера, поскольку UDP пакеты передаются без подтверждения по определению протокола, в нем нету понятия сокета и смещения по потоку. Файл скачивается не целиком, а по блокам, причем по возможности из разных источников-сидов. Так что личер не попросил блока - сидер не передал. И если личер не принял блока (не важно по какой причине) - он запрашивает его снова, а если принял, то только тогда запрашивает следующий из того же источника.

...

Рейтинг:

0 / 0

09.12.2010, 12:45

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37004228

netwind

Участник

Сообщения: 14 195

Рейтинг: 0 / 0

Тайгина Скотер, и что? Факт в том, что если замедлять "появление" этого блока у приложения, это будет влиять на скорость скачивания и в итоге разгрузит канал.

...

Рейтинг:

0 / 0

09.12.2010, 12:54

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37004241

Тайгина Скотер

Гость

netwind,
Вопрос-то в управлении трафиком на сетевом уровне, а не на уровне приложения.

...

Рейтинг:

0 / 0

09.12.2010, 13:00

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37004294

netwind

Участник

Сообщения: 14 195

Рейтинг: 0 / 0

Тайгина Скотер, вопрос во взаимодействии. Управляешь трафиком на сетевом уровне, а скорость сбавляет приложение.

...

Рейтинг:

0 / 0

09.12.2010, 13:13

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37004379

Тайгина Скотер

Гость

netwindТайгина Скотер, вопрос во взаимодействии. Управляешь трафиком на сетевом уровне, а скорость сбавляет приложение.
Это пародия на управление: косвенно управлять входящим трафиком путем зажимания исходящего. Для торрента может такой костыль и сгодится.

...

Рейтинг:

0 / 0

09.12.2010, 13:42

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37004408

Скотина Тайгер

Гость

netwindТайгина Скотер, вопрос во взаимодействии. Управляешь трафиком на сетевом уровне, а скорость сбавляет приложение.

Вопрос лишь в том, способно-ли это приложение это делать. К примеру тот-же skype может и понизить битрейт, а может и просто начать делать "провалы в речи" - когда слышны лишь отдельные слова.

С другой стороны - а кто говорил, что ingress - это решение всех проблем? Вообще говоря - это лишь
еще один (последний) способ ограничить входящий rate (и, кстати, полезен для блокирования не внешнего канала, а больше пассажиров в своей внутренней сети, тот-же поток DHT/UDP со стороны твоего писюка во внешний мир).

Но задержку пакета в очереди на отдачу (egress, в т.ч. через imq) - никто не отменял.

Но опять-же, мы много видели торрент-клиентов, которые шлют udp на максимальной скорости (по 10 и 100 мегабайт в секунду), если раутер тупо дропает их пакеты, без уведомления?

И каким образом управление трафиком tcp (типо сетевой уровень) принципиально отличается от udp уровня приложения? Так или иначе сторонами осуществляется регулирования рейта (или на уровне операционной системы, или на уровне приложения - не суть разница).

Короче.

...

Рейтинг:

0 / 0

09.12.2010, 13:51

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37004436

Тайгина Скотер

Гость

Скотина ТайгерИ каким образом управление трафиком tcp (типо сетевой уровень) принципиально отличается от udp уровня приложения? Так или иначе сторонами осуществляется регулирования рейта (или на уровне операционной системы, или на уровне приложения - не суть разница).
Короче.
В TCP при получении пакета с WIN=0 передающий данные уведомляется о временной невозможности принимающей стороны их получать, передача данных по сокету приостанавливается до момента высылания принимающей стороной пакета с WIN>0. Встроенное в стек средство управления потоком.

...

Рейтинг:

0 / 0

09.12.2010, 14:01

| Ответить | Цитировать | Написать

Шейпер... (теоретические вопросы и не только)

#37004488

Скотина Тайгер

Гость

Тайгина СкотерСкотина ТайгерИ каким образом управление трафиком tcp (типо сетевой уровень) принципиально отличается от udp уровня приложения? Так или иначе сторонами осуществляется регулирования рейта (или на уровне операционной системы, или на уровне приложения - не суть разница).
Короче.
В TCP при получении пакета с WIN=0 передающий данные уведомляется о временной невозможности принимающей стороны их получать, передача данных по сокету приостанавливается до момента высылания принимающей стороной пакета с WIN>0. Встроенное в стек средство управления потоком.

Отлично. Но вопрос был - какие существуют в принципиальных отличия.
Вот теперь найди причину, почему utorrent не забивает udp трафиком все возможные 100/1000 мегабит (если стоит ingress перед ним).

А потом сравни реализации.

Сможешь?

...

Рейтинг:

0 / 0

09.12.2010, 14:16

| Ответить | Цитировать | Написать

25 сообщений из 48, страница 1 из 2

все

Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Шейпер... (теоретические вопросы и не только)

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=25&msg=36840083&tid=1484547]:	0ms
get settings:	9ms
get forum list:	18ms
check forum access:	4ms
check topic access:	4ms
track hit:	174ms
get topic data:	7ms
get forum data:	2ms
get page messages:	38ms
get tp. blocked users:	1ms
others:	228ms

total:	485ms

	Необходимые cookie
	Cookie для сбора статистики
	Cookie для маркетинга и рекламы