ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / C++ [игнор отключен] [закрыт для гостей] / Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
25 сообщений из 74, страница 1 из 3
  1  все
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38583710
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Делаю UDP сервер. Работать будет в инете. В основном будет работать с одиночными сообщениями: принял, проверил, переслал/ответил. Тут все ясно.

Но будут такие ситуации когда целый поток сообщений. Тестил отправку залпом 1000 пакетов по 1000 байт по разным каналам. В некоторых случаях потеря до 90%. Правда не понял где именно теряется: у отправителя или получателя, т.е. не отправляются или не доходят.

1. Ломаю голову как организовать максимально быструю доставку: с одной стороны если слать по одному, то все доходят, но скорость передачи низкая, если слать залпом все и досылать потерянное тоже медленно т.к. 90% теряется.
Пока пришел к варианту слать пачками по 50-70 пакетов и получать подтверждение.
Наверняка готовые стратегии передачи есть , буду рад советам и ссылкам на эту тему.

2. Для минимизации потерь на входе хочу максимально ускорить получение разделив на отдельные потоки прием и отправку.
 
хочу сделать примерно так
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
SOCKET sock;
typedef struct {
  int state;
  char buf[1000];
} msg_t;
msg_t msg[1000]; // буфера для приема сообщений

void read_thread()
{
 while(true) {
   size = recvfrom(sock, msg[i].buf, 1000, ...); // приняли
   msg[i].state = NEED_PARSE; // пометили на обработку
   i = (i + 1) % 1000; // берем следующий буфер
 }
}

void parse_thread()
{
 while(true) {
  for(int i = 0; i < 1000) {
     if(msg[i].state == NEED_PARSE) {
       ... обработка
       sendto(sock, ...); // отправка
       msg[i].state = FREE;
     }
  }
 }
}

int main()
{
 sock = socket(AF_INET, SOCK_DGRAM, IPPROTO_UDP);
 bind(sock, ...);
 _beginthread(parse_thread, ....);
 read_thread();
}


Код схематичный, чтобы задумку показать. Просьба к мелочам не придираться, типа зацикленный parse_thread(). Синхронизация потоков, контроль ошибок и контроль буферов будет.

Т.е. поток чтения только принимает и помещает принятое в память, поток обработки разбирает сообщения и при необходимости что-то отправляет.
Тут возникает вопрос: Можно так использовать сокет в разных потоках? Т.е. один только принимает, второй только шлет.

Также интересны мнения даст ли такая схема хоть какие-то преимущества на однопроцессорной виртуалке по сравнению с "принял / обработал / отправил", если "обработал" это быстрые операции (проверка структуры, отправителя и т.п.).
 
принял / обработал / отправил
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
int main()
{
 SOCKET sock;
 sock = socket(AF_INET, SOCK_DGRAM, IPPROTO_UDP);
 bind(sock, ...);
 while(true) {
  char buf[1000];
   size = recvfrom(sock, buf, 1000, ...); // принял
   ... обработка
   sendto(sock, ...); // отправил
 }
}


И еще один ламерский вопрос: если я читаю по 1000 байт и прилетит пакет большего размера, то что произойдет? Я надеюсь что он просто удалится и ко мне не попадет.

PS Работать все будет в линуксовой виртуалке на хостинге. Клиенты на виндовсе.
...
Рейтинг: 0 / 0
12.03.2014, 11:15
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38583824
Фотография Anatoly Moskovsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Anatoly Moskovsky
Участник
Dima TПока пришел к варианту слать пачками по 50-70 пакетов и получать подтверждение.
Так юзайте TCP, раз вы можете так сходу менять протокол :)

Потеря пакета происходит в следующих случаях:
1) Принимающая сторона имеет недостаточно большой буфер для входящих пакетов и не успевает читать. В этом случае все невместившееся просто игнорируется.
(скорее всего именно это и происходит)
Задать побольше буфер для UDP сокета.
2) Отправляющая сторона отбрасывает часть пакетов еще до отправки по разным причинам.
(я не знаю что происходит при переполнении буфера отправки сокета, скорее всего блокировка потока, но возможно пакеты просто сразу удаляются, поскольку никто не обещал что они будут куда либо доставлены).
3) Пакеты теряются из-за загруженности сети

Проверить что просиходит с пакетами можно командой netstat -su на обоих хостах которая покажет статистику по UDP пакетам.
Dima Tесли я читаю по 1000 байт и прилетит пакет большего размера, то что произойдет? Я надеюсь что он просто удалится и ко мне не попадет.
Если прилетит больший пакет, то вы прочтете запрошенный размер, а остальное удалится. Т.е. следующее чтение прочтет следующий пакет, а не остаток предыдущего.
По крайней мере в линуксе так.
Dima T Можно так использовать сокет в разных потоках?
В теории можно, но я нигде не видел в доках явного разрешения (правда особо и не искал :)).
...
Рейтинг: 0 / 0
12.03.2014, 12:20
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38583825
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Dima TПока пришел к варианту слать пачками по 50-70 пакетов и получать подтверждение.
Наверняка готовые стратегии передачи есть, буду рад советам и ссылкам на эту тему.

Есть: TCP шлёт пакетов на размер окна без подтверждения, потом получает подтверждение на
всю пачку.

Dima TТут возникает вопрос: Можно так использовать сокет в разных потоках? Т.е.
один только принимает, второй только шлет.
Можно.

Dima TИ еще один ламерский вопрос: если я читаю по 1000 байт и прилетит пакет
большего размера, то что произойдет? Я надеюсь что он просто удалится и ко мне не
попадет.
Такой пакет просто не сможет отправиться. UDP пакеты ограничены ЕМНИП 256 байтами или даже
меньше.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
12.03.2014, 12:20
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38583837
Фотография Anatoly Moskovsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Anatoly Moskovsky
Участник
Да, забыл самое главное.

Как бы вы не старались, избежать потерь в UDP нельзя.
Поэтому если ваше приложение не допускает потерь, то вам нужен другой протокол доставки.
...
Рейтинг: 0 / 0
12.03.2014, 12:28
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38583847
Фотография Anatoly Moskovsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Anatoly Moskovsky
Участник
Dimitry Sibiryakovакой пакет просто не сможет отправиться. UDP пакеты ограничены ЕМНИП 256 байтами или даже
меньше.
Нет, нет такого лимита.
Лимит - это MTU сетевухи либо если включен discovery то MTU пути - стандартный лимит для IP протоколов.
...
Рейтинг: 0 / 0
12.03.2014, 12:35
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38583872
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Anatoly MoskovskyНет, нет такого лимита.
Да, действительно, такого лимита нет.

MSDNFor message-oriented sockets, care must be taken not to exceed the maximum
packet size of the underlying subnets, which can be obtained by using getsockopt to
retrieve the value of socket option SO_MAX_MSG_SIZE. If the data is too long to pass
atomically through the underlying protocol, the error WSAEMSGSIZE is returned and no data
is transmitted.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
12.03.2014, 12:47
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38583918
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Dima TДелаю UDP сервер. ...

Но будут такие ситуации когда целый поток сообщений. Тестил отправку залпом 1000 пакетов по 1000 байт по разным каналам. В некоторых случаях потеря до 90%. Правда не понял где именно теряется: у отправителя или получателя, т.е. не отправляются или не доходят.


Ты вообще в курсе, что UDP не гарантирует доставку сообщений ?
За что боролся, на то и напоролся. Где они теряются -- в принципе, не важно.

Dima T1. Ломаю голову как организовать максимально быструю доставку: с одной стороны если слать по одному, то все доходят, но скорость передачи низкая, если слать залпом все и досылать потерянное тоже медленно т.к. 90% теряется.
Пока пришел к варианту слать пачками по 50-70 пакетов и получать подтверждение.
Наверняка готовые стратегии передачи есть , буду рад советам и ссылкам на эту тему.


UDP используют для задач, где в принципе потеря данных нестрашна (например, передача видео, если очередной кадр не получен, он всё равно теряет свою актуальность), либо для организации поверх UDP своих протоколов. Видимо, ты решился заняться последним. Абстрактно задачу решать я считаю не имеет смысла -- нужно решать в рамках предметной области.

Dima TТут возникает вопрос: Можно так использовать сокет в разных потоках? Т.е. один только принимает, второй только шлет.


Э... сложный вопрос.

Dima TИ еще один ламерский вопрос: если я читаю по 1000 байт и прилетит пакет большего размера, то что произойдет? Я надеюсь что он просто удалится и ко мне не попадет.


Будет обрезан, но в общем случае читай man по функции, которую используешь.
...
Рейтинг: 0 / 0
12.03.2014, 13:27
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38583932
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Anatoly MoskovskyDima TПока пришел к варианту слать пачками по 50-70 пакетов и получать подтверждение.
Так юзайте TCP, раз вы можете так сходу менять протокол :)
Понятно что в TCP уже есть то что надо, сначала его и думал использовать, даже boost asio поизучал и другие либы кросплатформенные.
У UDP есть большие плюсы:
1. UDP сервер может упасть, перегрузиться, а клиент это даже не заметит, решит что потери в сети.
2. Можно использовать несколько UDP серверов одновременно (при наличии синхронизации между ними)
3. По UDP элементарно делается p2p обмен между клиентами за роутерами (проверял из-за двух DLink`ов без какой либо доп. настроек): оба клиента постучались на сервер, сервер сообщил обоим клиентам адреса откуда они ему шлют (котырые НАТ дал), а дальше они друг-другу, сервер не нужен. TCP такое не позволит. Ради p2p стоит поизобретать свой аналог TCP. Тем более что у меня за раз пролетает 200 кб максимум.

Anatoly MoskovskyЗадать побольше буфер для UDP сокета.
setsockopt(SO_RCVBUF) оно?

Anatoly MoskovskyЕсли прилетит больший пакет, то вы прочтете запрошенный размер, а остальное удалится. Т.е. следующее чтение прочтет следующий пакет, а не остаток предыдущего.
По крайней мере в линуксе так.
Такое поведение устраивает. Главное чтоб за пределы буфера не вылез и прием не застопорил.

Anatoly MoskovskyDima T Можно так использовать сокет в разных потоках?
В теории можно, но я нигде не видел в доках явного разрешения (правда особо и не искал :)).
Все больше склоняюсь к тому что надо как можно быстрее принимать если есть что принимать, т.к. скорость приема критична.
 
Придумал еще один однопоточный вариант с select()
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
SOCKET sock;
typedef struct {
  int state;
  char buf[1000];
} msg_t;

int main()
{
 sock = socket(AF_INET, SOCK_DGRAM, IPPROTO_UDP);
 bind(sock, ...);
 msg_t msg[1000]; // буфера для приема сообщений
 while(true) {
   if(select(sock ... 0 сек)) {// проверка наличия входящих с таймаутом 0 сек
     size = recvfrom(sock, msg[i].buf, 1000, ...); // приняли
     msg[i].state = NEED_PARSE; // пометили на обработку
     i = (i + 1) % 1000; // берем следующий буфер
   } else {
     for(int i = 0; i < 1000) {
        if(msg[i].state == NEED_PARSE) {
          ... обработка
          sendto(sock, ...); // отправка по одному пока принимать нечего
          msg[i].state = FREE;
          break;
        }
   }
 }
}


тут единственный минус по сравнению с многопоточным в том что добавляется select() для проверки входящих, но думаю он особо не должен тормозить. Может такая схема даже лучше, чтобы вылетающие пакеты не сбивали влетающие )))
...
Рейтинг: 0 / 0
12.03.2014, 13:32
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38583993
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
MasterZivТы вообще в курсе, что UDP не гарантирует доставку сообщений ?
За что боролся, на то и напоролся. Где они теряются -- в принципе, не важно.
В курсе, вот и спросил как минимизировать потери.
Я не за потери переживаю, а за трафик, он бесплатный до определенного предела, у многих хостеров в тарифах 20-25Гб в месяц бесплатно, а дальше особые условия с конскими ценами. Да и клиенты у меня есть на помегабайтных тарифах. Так что терять 90% трафика по дороге вообще не вариант. Надо 3-5%, не больше.
И вторая проблема с очень медленными каналами типа 3G с плохим приемом, там потери - это лишние перезапросы потерянного, т.е. доп.тормоза.
Вобщем надо как-то и терять поменьше и слать побыстрее.

Dima TАбстрактно задачу решать я считаю не имеет смысла -- нужно решать в рамках предметной области.
Задача очень даже не абстрактная. Мегабайт я с запасом взял, надо гонять файлы от 10 до 200 кб. И короткие сообщения меньше килобайта.

Буду изобретать алгоритм, чтоб и в гигабитной локалке и в GPRSе максимум скорости был.

Anatoly MoskovskyНет, нет такого лимита.
Лимит - это MTU сетевухи либо если включен discovery то MTU пути - стандартный лимит для IP протоколов.
Максимум размер UDP 65507 байт. Больше не отправляется.
Тесты показали что пакеты 65507 байт проходят до сервера в инете, но очень часто теряются. Зависит от типа подключения к инету. Например через L2TP подключение с MTU 1400 долетают до сервера, но на обратном пути рубится. С L2TP максимум 1372 байта (1400 -8 (заголовок IP) - 20 (заголовок UDP)), т.е. 1372 проходят, а 1373 уже больше половины теряется.
...
Рейтинг: 0 / 0
12.03.2014, 14:03
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584023
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Торренты используют UDP http://habrahabr.ru/post/68332/
Есть описание протокола, буду изучать http://www.bittorrent.org/beps/bep_0029.html
...
Рейтинг: 0 / 0
12.03.2014, 14:21
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584160
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Dima TУ UDP есть большие плюсы:
1. UDP сервер может упасть, перегрузиться, а клиент это даже не заметит, решит что потери в сети.
2. Можно использовать несколько UDP серверов одновременно (при наличии синхронизации между ними)
3. По UDP элементарно делается p2p обмен между клиентами за роутерами (проверял из-за двух DLink`ов без какой либо доп. настроек): оба клиента постучались на сервер, сервер сообщил обоим клиентам адреса откуда они ему шлют (котырые НАТ дал), а дальше они друг-другу, сервер не нужен. TCP такое не позволит. Ради p2p стоит поизобретать свой аналог TCP. Тем более что у меня за раз пролетает 200 кб максимум.А теперь внимательно читаем спецификацию HTTP/1.x и понимаем, что всё вышеизложенное может быть реализовано даже в рамках этого высокоуровнего протокола. Который проходит не только через NAT, но и, что важнее, через HTTP-прокси.
...
Рейтинг: 0 / 0
12.03.2014, 15:46
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584192
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Dima TПо UDP элементарно делается p2p обмен между клиентами за роутерами (проверял
из-за двух DLink`ов без какой либо доп. настроек)
Это тебе просто сказочно повезло с твоими д-линками.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
12.03.2014, 16:00
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584221
locked
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
locked
Гость
Dimitry SibiryakovDima TПо UDP элементарно делается p2p обмен между клиентами за роутерами (проверял
из-за двух DLink`ов без какой либо доп. настроек)
Это тебе просто сказочно повезло с твоими д-линками.

нет, это известная техника. Как по твоему работает Скайп?
...
Рейтинг: 0 / 0
12.03.2014, 16:26
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584234
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
lockedКак по твоему работает Скайп?Использует или "добрые души", которые разрешают входящие соединения для всякой всячины или (какое-то количество) "собственных" серверов.
Чудес не бывает.
...
Рейтинг: 0 / 0
12.03.2014, 16:34
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584257
locked
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
locked
Гость
Basil A. Sidorov (какое-то количество) "собственных" серверов.
Чудес не бывает.
Эти "собственные сервера" только инициируют соединения. Весь медиа поток идет p2p.
...
Рейтинг: 0 / 0
12.03.2014, 16:46
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584271
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Dimitry SibiryakovDima TПо UDP элементарно делается p2p обмен между клиентами за роутерами (проверял
из-за двух DLink`ов без какой либо доп. настроек)
Это тебе просто сказочно повезло с твоими д-линками.

Ну так у меня пользователи в основном с подобным железом.
В локалке тестил: виндовый брандмауэр тоже пропустил (сокет был с адресом 0:0, т.е. на усмотрение ОС). 7-ка с дефолтными настройками даже не спросила чего это у вас там шлется.
Допишу сервер, сделаю тестового клиента, устрою глобальный тест, тогда будет видно кто из клиентов сможет p2p работать, даже если половина - уже отлично.

Хотя подозреваю что большинство (у кого дефолтные настройки натов без доп.запретов) будет работать, т.к. принципы UDP ната таковы что делается связка localIP:port <-> natIP:port если внешний порт постоянный (natIP:port) при отправке по разным адресам, а он скорее всего постоянный т.к. иначе портов не напасешься если клиент начнет слать куче получателей, то дальше можно пробить даже продвинутые наты (помнящие куда клиент обращался) - для этого достаточно чтобы оба клиента послали по пакету навстречу друг-другу.
...
Рейтинг: 0 / 0
12.03.2014, 16:55
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584339
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Dima TВ локалке тестил: виндовый брандмауэр тоже пропустил (сокет был с адресом
0:0, т.е. на усмотрение ОС). 7-ка с дефолтными настройками даже не спросила чего это у вас
там шлется.
Вот только не все провайдеры ткие пофигисты.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
12.03.2014, 17:36
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584398
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
lockedЭти "собственные сервера" только инициируют соединения. Весь медиа поток идет p2p.Во-первых - я не просто так употребил союз "или".
Во-вторых - пофигистов много и (только) это позволяет существовать скайпу.
...
Рейтинг: 0 / 0
12.03.2014, 18:15
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584425
Вася Уткин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вася Уткин
Гость
Dima TAnatoly MoskovskyЗадать побольше буфер для UDP сокета.
setsockopt(SO_RCVBUF) оно?


Пробовали делать на принимающей стороне?
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
 // Установка размера.
  int size_write = (1024*100) ;
  if ( setsockopt ( UDP_s,
                    SOL_SOCKET,
                    SO_RCVBUF,
                    &size_write,
                    sizeof(size_write)
                   ) == -1 )


Проблему решило?

Пробовали увеличить MTU?
У себя в программе собирать несколько пакетов в один массив, передавать его, а на той стороне разбирать его?
...
Рейтинг: 0 / 0
12.03.2014, 18:47
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584444
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Dimitry SibiryakovВот только не все провайдеры ткие пофигисты.

Что значит пофигисты? Вопрос уходит за рамки темы в сторону моральных/этических/юридических/политических особенностей предоставления услуг. Тут выше упомянутая ссылка на скайп порадовала. Какой провайдер будет вводить ограничения мешающие работе скайпа? Наверно тот которому хочется избавится от немногих оставшихся клиентов.
...
Рейтинг: 0 / 0
12.03.2014, 19:20
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584480
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Вася УткинПроблему решило?
попробую когда сервер допишу.
Вася УткинПробовали увеличить MTU?
Это не наш путь. Все должно работать с имеющимися настройками. Все изменения нстроек должны быть только внутри собственного софта, т.е. отправителя и получателя.
Вася УткинУ себя в программе собирать несколько пакетов в один массив, передавать его, а на той стороне разбирать его?
Если быстро слать кусками по килобайту - доходит очень мало на медленных каналах. Описание протокола торрентов подсказало куда двигаться. У меня складывается мнение что надо изобретать какой-то эвристический алгоритм автоподстройки таймаутов отправки пакетов. Примерно так: послать 50 пакетов, подождать 300 мс, слать следующие 50 пакетов, в это время получить отчет о доставке первых 50-ти, поменять таймаут или количество отправляемое за раз. Т.к. у меня не торренты по несколько гигов, то задача усложняется, т.к. надо подстроится во время отправки 200 кб. Хотя можно не заморачиваться и слать по 20-30 пакетов и дожидаться подтверждения "медленно, но верно".
...
Рейтинг: 0 / 0
12.03.2014, 20:00
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584489
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Dima TКакой провайдер будет вводить ограничения мешающие работе скайпа?

1) Любой мобильный провайдер
2) Любой провайдер, садящий клиентов за собственный NAT
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
12.03.2014, 20:09
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584496
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Если кому интерсно. В итоге решил остановиться на компромиссном однопоточном варианте с select() и приоритетом чтению.
 
однопоточный вариант с select()
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
SOCKET sock;
typedef struct {
  int state;
  char buf[1000];
} msg_t;

int main()
{
 sock = socket(AF_INET, SOCK_DGRAM, IPPROTO_UDP);
 bind(sock, ...);
 msg_t msg[1000]; // буфера для приема сообщений
 while(true) {
   if(select(sock ... 0 сек)) {// проверка наличия входящих с таймаутом 0 сек
     size = recvfrom(sock, msg[i].buf, 1000, ...); // приняли
     msg[i].state = NEED_PARSE; // пометили на обработку
     i = (i + 1) % 1000; // берем следующий буфер
   } else {
     for(int i = 0; i < 1000) {
        if(msg[i].state == NEED_PARSE) {
          ... обработка
          sendto(sock, ...); // отправка по одному пока принимать нечего
          msg[i].state = FREE;
          break;
        }
   }
 }
}


Лично мне с многопоточностью только доп.гимор при отладке.
...
Рейтинг: 0 / 0
12.03.2014, 20:16
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584511
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Dimitry SibiryakovDima TКакой провайдер будет вводить ограничения мешающие работе скайпа?

1) Любой мобильный провайдер
Как выше писал тест по GPRS (включил WiFi роутер на телефоне, а связь не 3G) показал что канал очень сильно забивается и много потерь, особенно на больших пакетах (> 6000 байт), но из-за убогости сервера не смог померить реальную скорость. Сложно мерить то чего нет. Допишу, буду оптимизировать. В любом случае именно этот канал буду использовать для заточки на скорость, т.к. можно очень медленно передавать 200 кб по гигабитной сетке и никто это не заметит.
Dimitry Sibiryakov2) Любой провайдер, садящий клиентов за собственный NAT

Это п.1, а как обойти NAT я выше написал.
...
Рейтинг: 0 / 0
12.03.2014, 20:29
| Ответить | Цитировать | Написать  
Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
    #38584512
White Owl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
White Owl
Участник
Dima T,
Перед изобретением велосипеда, стоит посмотреть на работы предков.

http://www.amazon.com/gp/product/0132856204/ref=oh_details_o06_s01_i00?ie=UTF8&psc=1
Вполне неплохо описаны все основные принципы построения сетей. В том числе даны и алгоритмы организации сетевых протоколов.
...
Рейтинг: 0 / 0
12.03.2014, 20:31
| Ответить | Цитировать | Написать  
25 сообщений из 74, страница 1 из 3
  1  все
Форумы / C++ [игнор отключен] [закрыт для гостей] / Чтение и запись в UDP сокет большой очереди пакетов. Как оптимизировать?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]