Leonid KudryavtsevЕсли сейчас узкое горлышко latency, подозреваю, при 100 коннектах это будет процессор (даже, скорее, не сам процессор, а PCI шина )
По подробней можно? И PCI или PCI Express?

Leonid KudryavtsevIMHO & AFAIK. А пофиг. Обработка прерываний. Изначальная ущербность Ethernet'а. Да и Windows радости не добавит.

Конечно могу ошибаться. Но тут все зависит от кривизны используемого приложения. Судя по тому, что возник вопрос и проблема - достаточно кривое. Нужно кривость приложения лечить (пакеты по 512 байт), а не из сети несуществующую "задержку близкую к теоретической" выжимать. IMHO
Выделенное да, но до ограничений PCI Express gen2/3 16x, с пропускной способностью 64 - 128 Gbit/sec и задержками 200-500нс как до Китая раком, и прерывания к шине PCI Express никак не относятся, во-первых, в самой шине нет и не нужно никаких прерываний, во-вторых,, прерывания на CPU инициируются устройствами (в т.ч. Ethernet) исключительно через физическое адресное пространство, как обычное обращение к удаленной памяти - msi / msi-x.

А задержки естественно никогда не измеряют ping-ом, а измеряют sockperf-ом для различной длинны пакета. И для обычного 1 Gbit Ethernet на TCP/IP она не будет ниже 0.03 мкс (0.015 мкс в одну сторону).

Leonid KudryavtsevВася Уткин....она не будет ниже 0.03 мкс (0.015 мкс в одну сторону).
По вики, мкс == микросекунда == 10 в -6 степени

0.03 мкс == 30 наносекунд? Как-то мне кажется перебор )))
Здесь я опечатался, 30/15 мкс конечно для обычного Ethernet 1 Gbit :)

Leonid KudryavtsevOFFTOPIC Но по теме

А кто нибудь знает, на железках типа HP SuperDom (ну и вообще на любых коробках для блейдов). Если мы железку разбиваем на хард-партиции, есть ли возможность между ними соорудить виртуальную TCP/IP сеть через Numa-линк? Как в таких железках решается вопрос связи партиция - партиция? Неужели вставляют в один ящик сетевые карты и ходят через свичь?
Для создания хард-партиций софт используется и если да, то какой?
В виртуалках типа VMWare, Virtualbox, и т.д. можно создавать виртуальную сеть TCP/IP, которая работает через общую память хостовой машины. Возможно ли там поднять SDP/uDAPL - не знаю.

На сегодняшний день самым быстрым интерфейсом для кластерных систем является интерфейс PCI Express - именно его мы и используем.
И протоколы IP over PCIe, SDP и самые быстрые протоколы uDAPL/SCI. Чуть хуже интерфейсы Infiniband и Ethernet (с поддержкой TOE и RDMA).

Leonid KudryavtsevВася УткинДля создания хард-партиций софт используется и если да, то какой?

Не уверен, но думаю стандартный HP-ный.

Вася УткинНа сегодняшний день самым быстрым интерфейсом для кластерных систем является интерфейс PCI Express - именно его мы и используем.
И протоколы IP over PCIe, SDP и самые быстрые протоколы uDAPL/SCI. Чуть хуже интерфейсы Infiniband и Ethernet (с поддержкой TOE и RDMA).
А можно ссылку на доку/карточки/решения?
У нас доки, драйвера и решения собственного написания, под NDA :)
Как пойдет в серию, будет много инфы.

Гуглите карточки PLX PCIe Switch И IDT PCIe Switch, драйвера и решения гуглите A3Cuba или Dolphin IP и Dolphin SCI


Leonid KudryavtsevНе из праздного любопытства. Просто с такой проблемой (латенси) сталкивался(юсь). На прикладном уровне
Вася УткинEthernet (с поддержкой TOE и RDMA).
вроде же RDMA и IP параллельны друг другу?
С RDMA понятно, должно наступить светлое будущее. Только обычно софт ничего кроме IP не понимает (
Вася Уткин...Чуть хуже интерфейсы Infiniband и Ethernet (с поддержкой TOE и RDMA).
В живую не трогал, но по докам Infiniband и Ethernet должны сильно отличаться. Смотрел доки на Melanox Infiniband и HP 10G Ethernet - день и ночь.
Ethernet бывает разный, во-первых, есть дешевые с большой задержкой и дорогие с маленькой задержкой, во-вторых, есть опции: с TOE - вся обработка TCP ложиться на карточку, с RDMA вообще TCP не нужно, а используют SDP - те же сокеты, но без стека TCP/IP.

Leonid KudryavtsevВася Уткин...Ethernet бывает разный, во-первых, есть дешевые с большой задержкой и дорогие с маленькой задержкой, во-вторых, есть опции: с TOE - вся обработка TCP ложиться на карточку...
AFAIK беда не в карточке, беда на стороне OS. Что ответ от СУБД приходит не на то ядро, с которого приложение посылало запрос. В результате планировщик смазывает/намазывает приложение (и драйвера) по ядрам. Туда сюда обратно, тебе и мне приятно.
Для этого мы вместе с железо+драйвера пишем доки как правильно программировать высоконагруженные сетевые приложения :)
И вот когда приложение написано почти идеально, плюс задействованы: sched_setaffinity + sched_priority + /proc/irq/X/smp_affinity, то мы умеем задержку 30/15мкс на Ethrnet через 1 свич.

Leonid KudryavtsevТеоретически, в Windows есть технология RSS (Receive Side Scaling), которая должна раскидывать ответы по нужным очередям/ядрам, но на практике, AFAIK не все так радужно.

Т.ч. для паттерна обмена клиент-сервер СУБД, сильно бы хотелось драйвера в режиме спуллинга . Отправили запрос на сервер и не освобождая ядро, на том же ядре ждем ответа. Правда, не очень понятно, поймет ли ОС, что не только код драйвера, но и код прикладной задачи с ядра не нужно вытеснять.

Melanox, что-то подобное обещает. Насколько работает, х.з., в руках не держал.
Режим пуллинга, или снуппинга?

Есть драйвера где настраиваются и возможность пуллинга на мелких пакетах и irq-coalescing.
К тому же, sched_setaffinity + sched_priority(realtime) - и ваш поток с этого ядра никто никогда не выпустит, кроме прерываний. А их все убераем через, кроме, допустим, нужной сетевухи: /proc/irq/X/smp_affinity


quot Leonid Kudryavtsev]
IMHO
Вася Уткин...с RDMA вообще TCP не нужно, а используют SDP - те же сокеты, но без стека TCP/IP.
Проблема, что прикладной софт обычно умеет только TCP. А тут, AFAIK, в Windows вся производительность падает на прерываниях и на планировщике задач/потоков.[/quot]
Вы ошибаетесь, любое приложение умеет SDP (без стека TCP/IP) и может использовать его без перекомпиляции, а TCP/IP там используется только для раздачи MAC/IP адресов.

Leonid KudryavtsevВася УткинDolphin IP
интересная хрень

Ну и их графику, Low latency - Socket я как то верю. Очень хорошо показывает то, о чем я говорил. Можно поменять 1G Ethernet на 10G Ethernet, но эффект будет исчисляться процентами. Счастье вряд ли принесет ))).
Ещё бы, maximum bandwidth и minimum latency - вещи абсолютно перпендикулярные и никак не зависящие друг от друга.

А вот кластеры Oracle RAC и DB2 Purescale умеют uDAPL - а это значит задержки между нодами около 1 мкс, что очень близко к QPI :)