Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / переход на с физического сервера на вирт. машину VMWare / 12 сообщений из 12, страница 1 из 1
05.09.2019, 16:09
    #39858014
t0m
t0m
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
переход на с физического сервера на вирт. машину VMWare
Добрый день! На моем текущем рабочем месте бизнес планирует переходить на решения от HPE + VMWare. Более конкретно это сервер HPE DL360 Gen10 Xeon G5115 + СХД HPE MSA 2050 SAN SFF SSD, сервер будет работать с СХД через оптоволокно со скоростью 16GBt/sec.

Сейчас PostgreSQL работает на отдельном физическом сервере, под системой Linux Debian, со своей дисковой подсистемой, всё работает не один год без нареканий. Мне предложили перевести PostgreSQL на виртуальные машины VMWare. Подскажите пожалуйста, насколько это может быть безопасно и надежно (я слышал про проблемы с синхронизацией данных на диск, но это было правда давно)? По скорости работы будем проводить тесты, интересует именно надежность, насколько я понимаю всегда рекомендовалось работать с PostgreSQL на отдельном сервере с хорошей дисковой подсистемой (железный raid с кэшем).
...
Рейтинг: 0 / 0
06.09.2019, 09:01
    #39858253
Scott Tiger
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
переход на с физического сервера на вирт. машину VMWare
Может немного вырасти время отклика дисков, но не из-за гипервизора, а из-за SAN (внезапно хорошие набортные рейды с батарейками часто имеют меньшее время отклика, чем внешняя СХД, при прочих равных). О каких-либо проблемах с повреждениями данных на уровне или по вине собственно гипервизора я не слышал. Скорее смотрите на уговень гостевой ОС - ФС типа extN легко угробить аварийной перезагрузкой в сочетании с неподходящими настройками. Постгрес - вполне тривиальное для ОС приложение, ничего волшебного или хитрого там нет.
...
Рейтинг: 0 / 0
06.09.2019, 09:29
    #39858264
tunknown
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
переход на с физического сервера на вирт. машину VMWare
t0mНа моем текущем рабочем месте бизнес планирует переходить на решения от HPE + VMWare.Если бизнес планирует, то не всегда технические аспекты важны. Им виднее, а вам- нервы портить. Хотя...

t0mПо скорости работы будем проводить тесты, интересует именно надежность, насколько я понимаю всегда рекомендовалось работать с PostgreSQL на отдельном сервере с хорошей дисковой подсистемой (железный raid с кэшем).Если доступ к хранилищу будет виртуализирован, то будет хуже. Если в виртуалке он будет проброшен "напрямую", то лучше. Но в этом случае полезность виртуалки становится виртуальнее.
...
Рейтинг: 0 / 0
06.09.2019, 09:37
    #39858271
Melkij
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
переход на с физического сервера на вирт. машину VMWare
Scott TigerО каких-либо проблемах с повреждениями данных на уровне или по вине собственно гипервизора я не слышал.
А они были, даже года ещё не прошло... https://www.postgresql.org/message-id/flat/20190102125253.GA1754@paquier.xyz#884df78be314ea133969beeb6f509e30
Впрочем, у нас под VMWare базы есть, данные не теряли, видимо недостаточно активные.

t0mс хорошей дисковой подсистемой (железный raid с кэшем).
Хорошая дисковая нужна для производительности. И это не обязательно железный raid (под SSD не так уж сложно упереться именно в производительность контроллера рейда). А для надёжности - требуется корректная реализация fsync и не делать fsync=off на любом из уровней.
...
Рейтинг: 0 / 0
06.09.2019, 11:40
    #39858335
rahzer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
переход на с физического сервера на вирт. машину VMWare
автор Более конкретно это сервер HPE DL360 Gen10 Xeon G5115 + СХД HPE MSA 2050 SAN SFF SSD, сервер будет работать с СХД через оптоволокно со скоростью 16GBt/sec.
Предлагается брать уже второе поколение процессоров Чущт Пщдв 5215, а не снятое с производства 5115.
Так же, лучше взять СХД HPE MSA 2052, стоит на копейки подороже, но в базе уже все лицензии и самое вкусное два SSD диска (можете использовать как кэш, а можете отдельный том создать - на выбор)
автора из-за SAN (внезапно хорошие набортные рейды с батарейками часто имеют меньшее время отклика, чем внешняя СХД, при прочих равных)
Это логично, т.к. контроллер работает по SAS интерфейсу, конвертации нет, в FC идет конвертация SCSI команд в FC, потери в районе 3%, iSCSI интерфейс (если аппаратный), уже теряет в районе 10%
Кстати, MSA есть и SAS портами, можно по ним подключать сервера, но гибкость и масштабируемость, конечно уже теряется (хотя, и не всем надо).
авторМне предложили перевести PostgreSQL на виртуальные машины VMWare
Самый главный вопрос - какая цель, и чего хотите добиться и видеть в будущем?
Потому что, если делать виртуальные диски - теряется скорость, но можно их мигрировать (прелести виртуализации), если делать проброс "сырых" разделов - скорость увеличивается, но с миграцией проблема.
Надо смотреть на весь проект в целом, может у Вас потом вторая СХД будет и реплика между ними, тогда "сырые" разделы практически бесспорно надо делать.
Да, рекомендую брать VMWare через каналы НРЕ - дешевле, все необходимое уже интегрировано в дистриб и не надо потом допиливать (особенно если это в первый раз) и самое главное: в случае проблем (железо-софт), НРЕ само разбирается с VMWare, а не получается целый квест из 3-х сторон (НРЕ, VMWare, админ), где все обвиняют друг друга в глюках, а заказчик сидит с неработающей системой (кейсы у меня такие были).
...
Рейтинг: 0 / 0
06.09.2019, 17:38
    #39858569
bix
bix
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
переход на с физического сервера на вирт. машину VMWare
rahzer,

16GBt/sec оптические порты и SSD диски,два контроллера и большой кэш! Это какую нагрузку надо подать что бы сильно потерять в скорости?
...
Рейтинг: 0 / 0
06.09.2019, 17:47
    #39858576
Melkij
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
переход на с физического сервера на вирт. машину VMWare
bixЭто какую нагрузку надо подать что бы сильно потерять в скорости?
Всего лишь нагрузку критичную не к пропускной способности IO, а к его latency. То есть СУБД как раз.
Ну и SSD бывают разные. Очень сильно разные.
...
Рейтинг: 0 / 0
06.09.2019, 19:30
    #39858626
rahzer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
переход на с физического сервера на вирт. машину VMWare
автор16GBt/sec оптические порты
Это всего лишь скорость соединения..
Даже если десктопные 6 Гб\с взять, и запустить копирование (кучу файлов общей емкости, гигов на 50)..
Одно дело..
А если параллельно, копированию, запустить такое же, но в удалении..?
Для простоты эксперимента все запускается на одном HDD - головка диска будет замучена операциями, в рэйде считайте еще на синхронизацию дисков в массиве..
От пропускной способности шины, тут ничего не зависит,только ввод-вывод операций диска.
автор большой кэш!
Кэш может помогать, но он не панацея.
Да, он разгружает диски в ряде операций, но если сам принцип БД требует разнородные данные, которые не хранятся в кэше, то глупо на него уповать..
автордва контроллера
СХД еще надо настраивать, если что..
Как и ОС тоже..
авторSSD диски
Здесь можно настроить, как тиринг, когда часто используемые блоки перейдут с HDD на SSD, так и отдельный том, который будет, как быстрый, без тиринга..
Можно сделать, что часть обрабатывается одним контроллером и пулом дисков под одной нагрузкой, а часть другим контроллером и под другую нагрузку (например логи с их постоянной записью)
авторНу и SSD бывают разные. Очень сильно разные.
НРЕ брендирует Самсунги, в подключениях SAS только Mixed Used
...
Рейтинг: 0 / 0
07.09.2019, 17:33
    #39858795
Scott Tiger
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
переход на с физического сервера на вирт. машину VMWare
MelkijScott TigerО каких-либо проблемах с повреждениями данных на уровне или по вине собственно гипервизора я не слышал.
А они были, даже года ещё не прошло... https://www.postgresql.org/message-id/flat/20190102125253.GA1754@paquier.xyz#884df78be314ea133969beeb6f509e30]https://www.postgresql.org/message-id/flat/20190102125253.GA1754@paquier.xyz#884df78be314ea133969beeb6f509e30
Впрочем, у нас под VMWare базы есть, данные не теряли, видимо недостаточно активные.


Так это снапшот еще нужен и vmdk больше 2Тб (в ряде случаев)...
...
Рейтинг: 0 / 0
09.09.2019, 12:01
    #39859264
bix
bix
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
переход на с физического сервера на вирт. машину VMWare
rahzer,

У нас в сетапе SSD диски, так что перемещения головок не требуется. Ну а а работа с lunами через разные контроллеры ну как бы давно обычная фича СХД.
...
Рейтинг: 0 / 0
09.09.2019, 13:24
    #39859309
rahzer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
переход на с физического сервера на вирт. машину VMWare
авторУ нас в сетапе SSD диски, так что перемещения головок не требуется.
Ну бюджеты у всех разные, и потом у некоторых заказчиков бывает затруднение, когда СХД стоит с дисками 8к вечнозеленых енотов, а SSD диск один (если например расширять) стоит под 3к, проще сразу СХД поменять))
авторНу а а работа с lunами через разные контроллеры ну как бы давно обычная фича СХД.
Не все читают бест практисы, а валят все по дефолту на 1 контроллер, а потом удивляются тормозам)
...
Рейтинг: 0 / 0
09.09.2019, 14:49
    #39859367
bix
bix
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
переход на с физического сервера на вирт. машину VMWare
rahzer,
Я имел ввиду, что у автора SSD. У старых СХД да может быть, но вот по моему они все уже давно по умолчанию нагрузку автоматом делят.
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / переход на с физического сервера на вирт. машину VMWare / 12 сообщений из 12, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]