Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Шардинг большой таблицы. PL/Proxy - / 11 сообщений из 11, страница 1 из 1
03.08.2016, 15:35
    #39285469
unicornmirage
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг большой таблицы. PL/Proxy -
Добрый день.

Возникла задача - настроить шардинг для некоторой большой таблицы (разбиение по некоторому параметру userId). Т.к. опыт в данной области отсутствует, принялся изучать информацию.
Сейчас читаю вот это:
Работа с PostgreSQL: настройка и
масштабирование. А. Ю. Васильев. 2010–2014


Решил попробовать настроить PL/Proxy. Сказано, что его надо качать с:
http://pgfoundry.org/projects/plproxy/

И сразу же обратил внимание, что там довольно старые версии:
Latest version: PL/Proxy 2.5 2012-11-29

Я использую postgres 9.4.

всвязи с этим вопрос:

1) развивается ли этот PL/Proxy?
2) может быть есть более современная и удобная альтернатива?
...
Рейтинг: 0 / 0
03.08.2016, 23:09
    #39285761
vyegorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг большой таблицы. PL/Proxy -
unicornmirage,

Тут гляньте: https://wiki.postgresql.org/wiki/PL/Proxy
...
Рейтинг: 0 / 0
05.08.2016, 18:49
    #39287509
unicornmirage
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг большой таблицы. PL/Proxy -
vyegorov, спасибо!

еще возник вопрос - правильно ли я понял, что если использовать шардинг для таблицы в постгресе,
то перестают действовать ForeignKeys для этой таблицы?
...
Рейтинг: 0 / 0
05.08.2016, 20:26
    #39287544
vyegorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг большой таблицы. PL/Proxy -
unicornmirage,

Ну... это как сделаете. Если подшаманить и все логически связанные сущности хранить на одном узле, то можно и с внешними ключами.
Только шаманить, наверное, надо будет долго...
...
Рейтинг: 0 / 0
08.08.2016, 13:05
    #39288256
unicornmirage
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг большой таблицы. PL/Proxy -
vyegorov,

Если такая сложность с FK, то в чем тогда преимущество этого шардинга в постгресе.
Раз FK нет, то может эффективнее было бы использовать для таких таблиц - NoSQL, например MongoDB?
...
Рейтинг: 0 / 0
08.08.2016, 13:59
    #39288287
qwwq
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг большой таблицы. PL/Proxy -
unicornmirage,

ну идите же уже все в монгу, шмонгу, схемалесс и прочий нахер


ЗЫ вместо плпрокси щас новое поветрие -- наследовать форейгн тейблы, как партишены. апдейтебл, все дела. покопайте -- там интересно может быть.
...
Рейтинг: 0 / 0
08.08.2016, 15:39
    #39288389
vyegorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг большой таблицы. PL/Proxy -
unicornmirage,

Это всё от того, что полноценной встроенной логической репликации в ПЖ нет. Оттого и существуют сторонние решения,
и естественно, что при таком подходе чем-то надо жертвовать.

Кстати, а как вы себе представляете проверку внешних ключей (и другие проверки целостности) на распределённой базе?
Скорость вставки новых данных будет падать пропорционально размеру (в смысле, числу и удалённости узлов).
При шардинге от ключей отказываются обычно...
...
Рейтинг: 0 / 0
09.08.2016, 01:04
    #39288628
unicornmirage
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг большой таблицы. PL/Proxy -
vyegorovКстати, а как вы себе представляете проверку внешних ключей (и другие проверки целостности) на распределённой базе?
Скорость вставки новых данных будет падать пропорционально размеру (в смысле, числу и удалённости узлов).
При шардинге от ключей отказываются обычно...

Целостность кто-то в конечном счете ведь должен контроллировать. Либо СУБД, либо приложение. Не так ли? Иначе смысл использовать СУБД, если она не поддерживает целостность - а вносит еще дополнительный слой абстракции. Тогда уж вообще хранить всё в файлах.
...
Рейтинг: 0 / 0
09.08.2016, 09:01
    #39288687
qwwq
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг большой таблицы. PL/Proxy -
unicornmirageТогда уж вообще хранить всё в файлах.
И кто вам мешает ?
...
Рейтинг: 0 / 0
09.08.2016, 09:18
    #39288694
vyegorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг большой таблицы. PL/Proxy -
unicornmirageЦелостность кто-то в конечном счете ведь должен контроллировать. Либо СУБД, либо приложение. Не так ли? Иначе смысл использовать СУБД, если она не поддерживает целостность - а вносит еще дополнительный слой абстракции. Тогда уж вообще хранить всё в файлах.
Дык СУБД разные бывают. В данном форуме речь идёт о реляционной СУБД, полностью поддерживающей ACID. Вторая буква как раз и отвечает за целостность.
Не реляционные СУБД, которые столь модны в последнее время, как раз и отличаются тем, что ACID они не поддерживают целиком (разные СУБД отказываются от разных частей).

Вы слышали про CAP теорему? Почитайте на эту тему интернеты.
...
Рейтинг: 0 / 0
09.08.2016, 13:32
    #39288888
unicornmirage
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг большой таблицы. PL/Proxy -
vyegorov,

Слышал. Но еще раз перечитал. Спасибо. :)

Вобщем, удалось настроить шардинг (без FK) на этом plproxy. Оказалось не сложно.
Остался вопрос с масштабированием (добавлением/удалением узлов).

Возможно после того, как удастся решить все вопросы, посмотрю в сторону HadoopDB чтобы сравнить.
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Шардинг большой таблицы. PL/Proxy - / 11 сообщений из 11, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]