onstat-Oracle RACпропущено...

В этом и вопрос, Way4 и другое ПО для карточного процессинга действительно очень плохо масштабируется на кластерах, т.е. требуют для Oracle RAC в разы больше ядер, а значит и больше лицензий, чем при использовании p795?
Потому что для одинакого числа ядер разница между p795 и дешевым железом гораздо больше, чем между лицензиями EE и EE+RAC для всех ядер.

Разница не сколько в RAC а в интеловой шине QPI , она быстрее чем обычный эзернет ,
но медленнее чем инфинибенд.
Чисто теоритически на большом количестве ядер ( 20+) RAC на интеловой платформе может оказаться быстрее чем 80 ядерный интеловый сервер.
За счет минимизации межпроцессного ваимодействия и переноса маршрутизации на инфинибенд свич.
Чего вы тут такое рассказываете
1. Xeon E7, 3 QPI-links : CPU-1 --> QPI (8 GT/s = 16 GB/sec ) --> CPU-2
2. Xeon E3, 20 PCIe-lanes : CPU-1 --> PCIe (16x gen3 = 16 GB/sec ) --> Infiniband (12x EDR = 38 GB/sec) --> PCIe ( 16 GB/sec ) --> CPU-1

Во-первых, в Intel-овский CPU есть только 4 встроенных скоростных интерфейса на кристалле DDR, [DMI], PCIe, QPI. Через один link ни войти, ни выйти быстрее, чем 16 GB/sec ничего не может (равно как по QPI, так и по PCIe), так что хоть FDR, хоть EDR по 12x ничего не даст :)

Во-вторых, даже если вы к одному CPU подцепите несколько Infiniband карт, то на Intel CPU бывает максимум 40 PCIe-lanes gen.3 ( 40 GB/sec ), а QPI максимум 3-links ( 48 GB/sec ).

В-третьих, перекодировка пакетов PCIe->Infiniband->PCIe добавляет задержку, а соединение по QPI - прямое из кэша в кэш без перекодировок. Т.е. достойной альтернативой QPI у intel может быть только прямое соединение CPU->PCIe->CPU.

P.S.
К тому же, в системах на Intel:
- QPI позволяет строить ccNUMA с прямым доступом к чужой памяти по указателю с кэш-когерентной AC-семантикой
- Infiniband позволяет добираться до чужой памяти без кэш-когерентности и только через специальные функции, на разных уровнях относящиеся к: verbs/udapl/mpi-2

onstat-В ИБМовской шине процессорные платы между собой общаются по infiniband ,
без дополнительных PCI прослоек . Архитектура скрывает infiniband под капотом.

А какие скоростные интерфейсы встроены непосредственно в кристалл процессора IBM Power7/8?

onstat-

тынц



По вашему тынцу написано: "Each chip features 5 10-B SMP links that supports SMP operation of up to 32 sockets ", т.е. 32 CPU соединяются между собой по SMP-link-у, в итоге имея 32*8=256 ядер, т.е. 1024 потока, что и есть p795.
А можно подробней о "В ИБМовской шине процессорные платы между собой общаются по infiniband", что-то ни слова о Infiniband по вашей ссылке?

На вашем рисунке видно, что IBM Power7 не имеет встроенного в кристалл Infiniband, но имеет 4 скоростных интерфейса: DDR, SMP, off-MCM link, I/O.

А вот рисунок где показано, что Infiniband в Power7 подключается так: CPU --> I/O --> I/O Hub --> PCI-Bridge --> PCIe --> Infiniband (PCI-Device)
И только Power8 избавился от проприетарных GX-Bus и I/O Bridge и наконец имеет встроенный в кристалл процессора контроллер PCIe gen3, т.е. тут Infiniband подключается так: CPU --> PCIe --> Infiniband

PS
Причем интересное замечание, что если представить 32 сокета в виде матрицы 4 х 8, то все сокеты в каждой строчке соединены между собой кольцевой шиной, и все сокеты в каждом столбце соединены между собой кольцевой шиной.
Кто-нибудь знает, что это за топология и для каких задач она выгодна?

onstat-ChronSQLпропущено...


По вашему тынцу написано: "Each chip features 5 10-B SMP links that supports SMP operation of up to 32 sockets ", т.е. 32 CPU соединяются между собой по SMP-link-у, в итоге имея 32*8=256 ядер, т.е. 1024 потока, что и есть p795.
А можно подробней о "В ИБМовской шине процессорные платы между собой общаются по infiniband", что-то ни слова о Infiniband по вашей ссылке?


Прошу прощения, я не нашел в открытых источниках информацию, однозначно отвечающую на ваш вопрос.
Когда то мимо меня проскакивала презентация что конкретно
в этих машинах
для
Inter-node buses (4 enclosures) 158.02 Gbps

infiniband, есть транспортным протоколом для SMP-link ов,
для взаимодействия процессорных плат находящихся в разных цеках.
А примерно насколько уверены в том, что помните правильно и что автор той презентации не ошибся, 20 / 50 / 90%?

onstat-ChronSQLпропущено...

А примерно насколько уверены в том, что помните правильно и что автор той презентации не ошибся, 20 / 50 / 90%?

Автор может и ошибся , но документация врядли ошибается в числе 158.02 Gbps
Судя по всему это суммарная пропускная способность нескольких линков между двумя процессорными платами (nodes), а как вы понимаете в топологии "тор" несколько линков - это не так уж и много 158/8 = 20 GB/sec (по сравнению с 40 GB/sec в PCIe gen3 40 lane, и 48 GB/sec в QPI 3 links).

onstat-ChronSQLпропущено...

Судя по всему это суммарная пропускная способность нескольких линков между двумя процессорными платами (nodes), а как вы понимаете в топологии "тор" несколько линков - это не так уж и много 158/8 = 20 GB/sec (по сравнению с 40 GB/sec в PCIe gen3 40 lane, и 48 GB/sec в QPI 3 links).

Правильно , речь ведь не в количестве, а в скорости взаимодействия нод.
p 47. Figure 2-9 SMP Cables installation order
Каждый с соединяется с каждым по шине 158.02 Gbps.


Чуть выше на странице 43 в таблице скорости взаимодействия по кешам , памяти, шинам ввода вывода ........
Да, вижу, что ноды в IBM p770/780 соединяются каждая с каждой на странице 47.
На странице 43: скорость взаимодействия между нодами (Inter-node buses (4 enclosures)) 158.02 Gbps = 20 GB/sec , и ещё более впечатляющая скорость взаимодействия внутри нод (Intra-node buses (4 enclosures)) 415.74 Gbps = 52 GB/sec .
Но важно понять, что понимается под этой скоростью?
1. скорость всех линков одной ноды
2. или скорость только SMP-линков между двумя любыми нодами
3. или скорость всех SMP-линков одного процессора
4. или же скорость одного SMP-линка


1. Если мы сравниваем скорость всех линков одной ноды (8 CPU), то совсем честно с Intel сравнивать не получится потому, что у Intel в ccNUMA больше 8 CPU over QPI просто не бывает, т.е. просто не бывает больше одной кэш-когерентной ноды у Intel - и это их косяк.
Но если в Intel несколько нод соединить по PCIe/Infiniband, а считать будем по PCIe, т.к. он будет непреодолимым ограничением, то из одной ноде в Intel из 8 CPU можно вывести 8*40=320 линии PCIe gen3, каждая по 1 GB/sec. Т.е. общая скорость межнодового соединения всех линков одной ноды в Intel равна 2560 Gbps = 320 GB/sec.

2. Если же в p770/p780 имеется ввиду скорость только линков между двумя любыми нодами, то суммарная скорость от 1 ноды к каждой из 3х была бы равна: 158.02*3 Gbps = 474.06 Gbps = 60 GB/sec , что все таки меньше, чем мы могли бы сделать у Intel.

3. Если же в p770/780 понимается скорость всех линков одного процессора внутри ноды равная 415.74 Gbps = 52 GB/sec, то что же тогда изображено в обведенных красными овалами на рисунке по вашей же ссылке на странице 27?
Если подсчитать: 2.46 Gb/s * 2 + 3.25 Gb/s * 3 = 14.67 Gb/s (то ли гигабайт, толи гигабит). Что это за число?
Если сделать нехитрые вычисления:
2.464 Gb/s * 8 CPU * 8 bit_per_byte * 1 (в одну сторону) = 157.696 Gbps - очень похожее на 158.02 Gbps из таблицы.
3.248 Gb/s * 8 CPU * 8 bit_per_byte * 2 (в каждую сторону) = 415,744 Gbps - очень похоже на 415.74 Gbps из таблицы.

Т.е. действительно, это суммарная пропускная способность всех линков в одной ноде:
- 157.696 Gbps - суммарная выходящая скорость наружу из ноды, по 52.56 Gbps с каждой нодой. И как мы считали выше, у Intel-а по QPI межнодовой нет, но можно создать по PCIe межнодовую суммарную скорость: 2560 Gbps = 320 GB/sec.

- 415.74 Gbps - суммарная скорость всех SMP-линков Х всех CPU внутри ноды. Если сравнить с Intel на 8 CPU, получаем 3 QPI-links * 8 CPU * 16 GTs(16 GB/s) = 3*8*16 = 384 GB/sec = 3072 Gbps .

4. Скорость одного SMP-link в Power7 для систем p770/780 показана на картинке.