ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Шардинг большой таблицы. PL/Proxy -
11 сообщений из 11, страница 1 из 1
Шардинг большой таблицы. PL/Proxy -
    #39285469
unicornmirage
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
unicornmirage
Участник
Добрый день.

Возникла задача - настроить шардинг для некоторой большой таблицы (разбиение по некоторому параметру userId). Т.к. опыт в данной области отсутствует, принялся изучать информацию.
Сейчас читаю вот это:
Работа с PostgreSQL: настройка и
масштабирование. А. Ю. Васильев. 2010–2014

Решил попробовать настроить PL/Proxy. Сказано, что его надо качать с:
http://pgfoundry.org/projects/plproxy/

И сразу же обратил внимание, что там довольно старые версии:
Latest version: PL/Proxy 2.5 2012-11-29

Я использую postgres 9.4.

всвязи с этим вопрос:

1) развивается ли этот PL/Proxy?
2) может быть есть более современная и удобная альтернатива?
...
Рейтинг: 0 / 0
03.08.2016, 15:35
| Ответить | Цитировать | Написать  
Шардинг большой таблицы. PL/Proxy -
    #39285761
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
unicornmirage,

Тут гляньте: https://wiki.postgresql.org/wiki/PL/Proxy
...
Рейтинг: 0 / 0
03.08.2016, 23:09
| Ответить | Цитировать | Написать  
Шардинг большой таблицы. PL/Proxy -
    #39287509
unicornmirage
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
unicornmirage
Участник
vyegorov, спасибо!

еще возник вопрос - правильно ли я понял, что если использовать шардинг для таблицы в постгресе,
то перестают действовать ForeignKeys для этой таблицы?
...
Рейтинг: 0 / 0
05.08.2016, 18:49
| Ответить | Цитировать | Написать  
Шардинг большой таблицы. PL/Proxy -
    #39287544
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
unicornmirage,

Ну... это как сделаете. Если подшаманить и все логически связанные сущности хранить на одном узле, то можно и с внешними ключами.
Только шаманить, наверное, надо будет долго...
...
Рейтинг: 0 / 0
05.08.2016, 20:26
| Ответить | Цитировать | Написать  
Шардинг большой таблицы. PL/Proxy -
    #39288256
unicornmirage
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
unicornmirage
Участник
vyegorov,

Если такая сложность с FK, то в чем тогда преимущество этого шардинга в постгресе.
Раз FK нет, то может эффективнее было бы использовать для таких таблиц - NoSQL, например MongoDB?
...
Рейтинг: 0 / 0
08.08.2016, 13:05
| Ответить | Цитировать | Написать  
Шардинг большой таблицы. PL/Proxy -
    #39288287
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
unicornmirage,

ну идите же уже все в монгу, шмонгу, схемалесс и прочий нахер


ЗЫ вместо плпрокси щас новое поветрие -- наследовать форейгн тейблы, как партишены. апдейтебл, все дела. покопайте -- там интересно может быть.
...
Рейтинг: 0 / 0
08.08.2016, 13:59
| Ответить | Цитировать | Написать  
Шардинг большой таблицы. PL/Proxy -
    #39288389
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
unicornmirage,

Это всё от того, что полноценной встроенной логической репликации в ПЖ нет. Оттого и существуют сторонние решения,
и естественно, что при таком подходе чем-то надо жертвовать.

Кстати, а как вы себе представляете проверку внешних ключей (и другие проверки целостности) на распределённой базе?
Скорость вставки новых данных будет падать пропорционально размеру (в смысле, числу и удалённости узлов).
При шардинге от ключей отказываются обычно...
...
Рейтинг: 0 / 0
08.08.2016, 15:39
| Ответить | Цитировать | Написать  
Шардинг большой таблицы. PL/Proxy -
    #39288628
unicornmirage
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
unicornmirage
Участник
vyegorovКстати, а как вы себе представляете проверку внешних ключей (и другие проверки целостности) на распределённой базе?
Скорость вставки новых данных будет падать пропорционально размеру (в смысле, числу и удалённости узлов).
При шардинге от ключей отказываются обычно...

Целостность кто-то в конечном счете ведь должен контроллировать. Либо СУБД, либо приложение. Не так ли? Иначе смысл использовать СУБД, если она не поддерживает целостность - а вносит еще дополнительный слой абстракции. Тогда уж вообще хранить всё в файлах.
...
Рейтинг: 0 / 0
09.08.2016, 01:04
| Ответить | Цитировать | Написать  
Шардинг большой таблицы. PL/Proxy -
    #39288687
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
unicornmirageТогда уж вообще хранить всё в файлах.
И кто вам мешает ?
...
Рейтинг: 0 / 0
09.08.2016, 09:01
| Ответить | Цитировать | Написать  
Шардинг большой таблицы. PL/Proxy -
    #39288694
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
unicornmirageЦелостность кто-то в конечном счете ведь должен контроллировать. Либо СУБД, либо приложение. Не так ли? Иначе смысл использовать СУБД, если она не поддерживает целостность - а вносит еще дополнительный слой абстракции. Тогда уж вообще хранить всё в файлах.
Дык СУБД разные бывают. В данном форуме речь идёт о реляционной СУБД, полностью поддерживающей ACID. Вторая буква как раз и отвечает за целостность.
Не реляционные СУБД, которые столь модны в последнее время, как раз и отличаются тем, что ACID они не поддерживают целиком (разные СУБД отказываются от разных частей).

Вы слышали про CAP теорему? Почитайте на эту тему интернеты.
...
Рейтинг: 0 / 0
09.08.2016, 09:18
| Ответить | Цитировать | Написать  
Шардинг большой таблицы. PL/Proxy -
    #39288888
unicornmirage
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
unicornmirage
Участник
vyegorov,

Слышал. Но еще раз перечитал. Спасибо. :)

Вобщем, удалось настроить шардинг (без FK) на этом plproxy. Оказалось не сложно.
Остался вопрос с масштабированием (добавлением/удалением узлов).

Возможно после того, как удастся решить все вопросы, посмотрю в сторону HadoopDB чтобы сравнить.
...
Рейтинг: 0 / 0
09.08.2016, 13:32
| Ответить | Цитировать | Написать  
11 сообщений из 11, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Шардинг большой таблицы. PL/Proxy -
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]