Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / максимальное количество ядер под Postgres / 17 сообщений из 17, страница 1 из 1
06.11.2015, 13:01
    #39096500
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
Нашел сведения, что Pg не работает более чем с 64 ядрами CPU.
Так ли это в последних 9.4-9.5b версиях? Ткните пожалуйста в доку.
гугл дает данные пятилетней давности.
...
Рейтинг: 0 / 0
06.11.2015, 16:10
    #39096791
p2.
p2.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
mefmanНашел сведения, что Pg не работает более чем с 64 ядрами CPU.Это ж еще постараться надо, ограничить количество используемых разными процессами ядер. Возможно имеется ввиду упоминание в документации условного предела линейной масштабруемости.
...
Рейтинг: 0 / 0
06.11.2015, 16:25
    #39096802
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
http://serverfault.com/questions/459114/postgresql-scaling-up-to-64-cores
In this Computer World article, it specifies that PostgreSQL can scale up to a core limit of 64. Does this mean for one multi-core processor of 64 cores? Or multiple processors with fewer cores?
что-то типа этого
...
Рейтинг: 0 / 0
06.11.2015, 16:42
    #39096815
p2.
p2.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
mefmanчто-то типа этогоНу, если пройти по ссылке в ссылке на ссылку, то проблема была у 9.1, что не масштабировался более 16 ядер на блокировках . Проблему исправили в 9.2 переименованием внутреннего механизма блокировок Lock в Fast Lock и некто проверил масштабируемость на 32х ядрах, затем на 64 ядрах. Потом у него ядра закончились... и в различные новости попало число 64.
Полагаю этот условный предел масштабируемости зависит как от типа нагрузки, так и от архитектуры процессора и шины.
...
Рейтинг: 0 / 0
06.11.2015, 17:34
    #39096862
Павел Лузанов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
mefman,

Магическое число 64 может относится к известному посту Роберта Хааса:
http://rhaas.blogspot.ru/2012/04/did-i-say-32-cores-how-about-64.html

Недавно у нас в компании делали тесты на IBM-овском железе:
http://www.postgrespro.ru/blog/pgsql/2015/08/30/p8scaling
...
Рейтинг: 0 / 0
06.11.2015, 18:02
    #39096888
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
Павел ЛузановНедавно у нас в компании делали тесты на IBM-овском железе:
http://www.postgrespro.ru/blog/pgsql/2015/08/30/p8scaling

IBM 9119-MHE with 8 CPUs * 8 cores * 8 threads.
ядер таки 64. ибо имхо threads не cores )
lscpu что говорит?
...
Рейтинг: 0 / 0
06.11.2015, 18:36
    #39096909
Павел Лузанов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
mefman,

попробую переадресовать вопрос, я не в теме.
...
Рейтинг: 0 / 0
06.11.2015, 18:55
    #39096932
vadvya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
mefman,

1. Это был IBM E880, тот что состоит из 2U двух нод.
2. Также тестировали на SuperDomeX из 4 блейдов, смогли утилизировать на синтетических тестах (1 млн транзакций) - 2 блейда, при добавлении новых блейдов производительность не повышалась (но тут проблема crossbar интеловского).

Все что мы проводили - чистая синтетика, мы решали проблемы часто используемых буферов в разделяемой памяти.
Есть реальные данные PG в интеловых нодах, заказчики успешно гоняют и на 140 intel cpu withou HT, и проблем с локами, с которыми мы сталкивались на синтетических тестах, не испытывают.
...
Рейтинг: 0 / 0
06.11.2015, 20:43
    #39097007
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
vadvyaЕсть реальные данные PG в интеловых нодах, заказчики успешно гоняют и на 140 intel cpu withou HT, и проблем с локами, с которыми мы сталкивались на синтетических тестах, не испытывают.

это понятно, что гоняют. вопрос в том может ли PG использовать их все или будет только 0-63?
...
Рейтинг: 0 / 0
06.11.2015, 21:37
    #39097044
kira ivanov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
mefmanэто понятно, что гоняют. вопрос в том может ли PG использовать их все или будет только 0-63?

Использует, 9.3 точно. Гоняли на 4-х сокетной машине с отключенным гипертрейдингом на процах - E5-4669 v3... В конечном итоге "соскочили" на Intel® Xeon® Processor E5-4655 v3...
...
Рейтинг: 0 / 0
06.11.2015, 22:00
    #39097051
vadvya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
mefmanvadvyaЕсть реальные данные PG в интеловых нодах, заказчики успешно гоняют и на 140 intel cpu withou HT, и проблем с локами, с которыми мы сталкивались на синтетических тестах, не испытывают.

это понятно, что гоняют. вопрос в том может ли PG использовать их все или будет только 0-63?

ужас какой. вы начитались пис оф шит. конечно будут использовать все, что даст ОС. никаких ограничений нет.
...
Рейтинг: 0 / 0
06.11.2015, 22:09
    #39097056
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
vadvyamefmanпропущено...


это понятно, что гоняют. вопрос в том может ли PG использовать их все или будет только 0-63?

ужас какой. вы начитались пис оф шит. конечно будут использовать все, что даст ОС. никаких ограничений нет.
Прошу не гонять ссаными тряпками. Коллега сказал, что не может . Я хочу ему аргументированно доказать обратное. Желательно со ссылкой на документация. Проверить негде (
...
Рейтинг: 0 / 0
06.11.2015, 22:09
    #39097058
vadvya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
mefman,

вот тут прочитайте: https://github.com/postgres/postgres/blob/master/src/backend/postmaster/postmaster.c#L3850 и проверьте, есть ли ограничение, перед там как всякую ересь переспрашивать ;)
...
Рейтинг: 0 / 0
06.11.2015, 22:11
    #39097060
vadvya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
после того, как бакэнд отфоркается - это будет еще один полновесный процесс в системе, дальше куда его отправлять, на какой процессор будет уже его выполнять будет решать ОС.
...
Рейтинг: 0 / 0
06.11.2015, 22:24
    #39097065
vadvya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
mefman,
специально для вас :) https://gist.github.com/vadv/78ec06d1706d12f5a2f0 запущено на разных процессорах
...
Рейтинг: 0 / 0
06.11.2015, 22:44
    #39097069
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
vadvyamefman,
специально для вас :) https://gist.github.com/vadv/78ec06d1706d12f5a2f0 запущено на разных процессорах
thaks!
...
Рейтинг: 0 / 0
17.11.2015, 09:54
    #39105227
jan2ary
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
максимальное количество ядер под Postgres
Вот еще свежая статья по теме
PostgreSQL на многоядерных серверах Power 8
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / максимальное количество ядер под Postgres / 17 сообщений из 17, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]