Leonid KudryavtsevOFFTOPIC Но по теме

А кто нибудь знает, на железках типа HP SuperDom (ну и вообще на любых коробках для блейдов). Если мы железку разбиваем на хард-партиции, есть ли возможность между ними соорудить виртуальную TCP/IP сеть через Numa-линк? Как в таких железках решается вопрос связи партиция - партиция? Неужели вставляют в один ящик сетевые карты и ходят через свичь?
Для создания хард-партиций софт используется и если да, то какой?
В виртуалках типа VMWare, Virtualbox, и т.д. можно создавать виртуальную сеть TCP/IP, которая работает через общую память хостовой машины. Возможно ли там поднять SDP/uDAPL - не знаю.

На сегодняшний день самым быстрым интерфейсом для кластерных систем является интерфейс PCI Express - именно его мы и используем.
И протоколы IP over PCIe, SDP и самые быстрые протоколы uDAPL/SCI. Чуть хуже интерфейсы Infiniband и Ethernet (с поддержкой TOE и RDMA).

Leonid KudryavtsevВася УткинДля создания хард-партиций софт используется и если да, то какой?

Не уверен, но думаю стандартный HP-ный.

Вася УткинНа сегодняшний день самым быстрым интерфейсом для кластерных систем является интерфейс PCI Express - именно его мы и используем.
И протоколы IP over PCIe, SDP и самые быстрые протоколы uDAPL/SCI. Чуть хуже интерфейсы Infiniband и Ethernet (с поддержкой TOE и RDMA).
А можно ссылку на доку/карточки/решения?
У нас доки, драйвера и решения собственного написания, под NDA :)
Как пойдет в серию, будет много инфы.

Гуглите карточки PLX PCIe Switch И IDT PCIe Switch, драйвера и решения гуглите A3Cuba или Dolphin IP и Dolphin SCI


Leonid KudryavtsevНе из праздного любопытства. Просто с такой проблемой (латенси) сталкивался(юсь). На прикладном уровне
Вася УткинEthernet (с поддержкой TOE и RDMA).
вроде же RDMA и IP параллельны друг другу?
С RDMA понятно, должно наступить светлое будущее. Только обычно софт ничего кроме IP не понимает (
Вася Уткин...Чуть хуже интерфейсы Infiniband и Ethernet (с поддержкой TOE и RDMA).
В живую не трогал, но по докам Infiniband и Ethernet должны сильно отличаться. Смотрел доки на Melanox Infiniband и HP 10G Ethernet - день и ночь.
Ethernet бывает разный, во-первых, есть дешевые с большой задержкой и дорогие с маленькой задержкой, во-вторых, есть опции: с TOE - вся обработка TCP ложиться на карточку, с RDMA вообще TCP не нужно, а используют SDP - те же сокеты, но без стека TCP/IP.

Leonid KudryavtsevВася Уткин...Ethernet бывает разный, во-первых, есть дешевые с большой задержкой и дорогие с маленькой задержкой, во-вторых, есть опции: с TOE - вся обработка TCP ложиться на карточку...
AFAIK беда не в карточке, беда на стороне OS. Что ответ от СУБД приходит не на то ядро, с которого приложение посылало запрос. В результате планировщик смазывает/намазывает приложение (и драйвера) по ядрам. Туда сюда обратно, тебе и мне приятно.
Для этого мы вместе с железо+драйвера пишем доки как правильно программировать высоконагруженные сетевые приложения :)
И вот когда приложение написано почти идеально, плюс задействованы: sched_setaffinity + sched_priority + /proc/irq/X/smp_affinity, то мы умеем задержку 30/15мкс на Ethrnet через 1 свич.

Leonid KudryavtsevТеоретически, в Windows есть технология RSS (Receive Side Scaling), которая должна раскидывать ответы по нужным очередям/ядрам, но на практике, AFAIK не все так радужно.

Т.ч. для паттерна обмена клиент-сервер СУБД, сильно бы хотелось драйвера в режиме спуллинга . Отправили запрос на сервер и не освобождая ядро, на том же ядре ждем ответа. Правда, не очень понятно, поймет ли ОС, что не только код драйвера, но и код прикладной задачи с ядра не нужно вытеснять.

Melanox, что-то подобное обещает. Насколько работает, х.з., в руках не держал.
Режим пуллинга, или снуппинга?

Есть драйвера где настраиваются и возможность пуллинга на мелких пакетах и irq-coalescing.
К тому же, sched_setaffinity + sched_priority(realtime) - и ваш поток с этого ядра никто никогда не выпустит, кроме прерываний. А их все убераем через, кроме, допустим, нужной сетевухи: /proc/irq/X/smp_affinity


quot Leonid Kudryavtsev]
IMHO
Вася Уткин...с RDMA вообще TCP не нужно, а используют SDP - те же сокеты, но без стека TCP/IP.
Проблема, что прикладной софт обычно умеет только TCP. А тут, AFAIK, в Windows вся производительность падает на прерываниях и на планировщике задач/потоков.[/quot]
Вы ошибаетесь, любое приложение умеет SDP (без стека TCP/IP) и может использовать его без перекомпиляции, а TCP/IP там используется только для раздачи MAC/IP адресов.

Leonid KudryavtsevВася УткинDolphin IP
интересная хрень

Ну и их графику, Low latency - Socket я как то верю. Очень хорошо показывает то, о чем я говорил. Можно поменять 1G Ethernet на 10G Ethernet, но эффект будет исчисляться процентами. Счастье вряд ли принесет ))).
Ещё бы, maximum bandwidth и minimum latency - вещи абсолютно перпендикулярные и никак не зависящие друг от друга.

А вот кластеры Oracle RAC и DB2 Purescale умеют uDAPL - а это значит задержки между нодами около 1 мкс, что очень близко к QPI :)