Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Шардинг геоданных / 8 сообщений из 8, страница 1 из 1
24.05.2018, 15:45
    #39649499
ну я
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг геоданных
Как правильно шардить геоданные?
...
Рейтинг: 0 / 0
24.05.2018, 16:02
    #39649503
Melkij
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг геоданных
ну я,

начиная с ответа на вопрос "зачем?"
Не шутка. Сначала понимание что хотим получить, только потом решать "как".
...
Рейтинг: 0 / 0
24.05.2018, 16:10
    #39649507
ну я
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг геоданных
Зачем: данных много. Общих объемов насчитали много терабайт.
Хотим: не убиться.
Собсно, вариант с шардингом - это лишь вариант в поисках как это сделать.
Не имею опыта даже как бекапят такие объемы.
С гигабайтами работал, но с терабайтами и с геоданными - первый раз.
...
Рейтинг: 0 / 0
24.05.2018, 18:31
    #39649549
vyegorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг геоданных
ну я,

Если вы просто хотите зашардить, без понимания зачем вам столько данных и как вы будете с ними работать, то большой шанс, что не взлетит. Либо надо будет кругом ставить 40G сетку, чтобы таскать объемы для выполнения запросов.

Посмотрите на Greenplum или же на Postgres-XL — MPP системы на основе ПЖ.
...
Рейтинг: 0 / 0
24.05.2018, 18:53
    #39649557
ну я
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг геоданных
vyegorovну я,

Если вы просто хотите зашардить, без понимания зачем вам столько данных и как вы будете с ними работать, то большой шанс, что не взлетит. Либо надо будет кругом ставить 40G сетку, чтобы таскать объемы для выполнения запросов.

Посмотрите на Greenplum или же на Postgres-XL — MPP системы на основе ПЖ.
Да оно может не взлететь и с пониманием, если лажануть.
Железо ставят достойное.
Сенкс, посмотрим.
...
Рейтинг: 0 / 0
24.05.2018, 22:40
    #39649602
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг геоданных
Свяжитесь со мной по почте. Попробуем помочь.
...
Рейтинг: 0 / 0
25.05.2018, 16:45
    #39650026
qwwq
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг геоданных
ну яЗачем: данных много. Общих объемов насчитали много терабайт.
.
это не тот ответ, который нужен.

вопрос -- что вы с данными делать собираетесь. и какого типа запросы собираетесь слать.

самый простой шардинг -- асинхронный. когда данные вертикально разбиваемы на независимые диапазоны, . и требований по синхронизации данных между диапазонами нет. или они слабы и никакой транзакции охватывающей более одного диапазона не предусматривается. (внутри -- есть). тогда plproxy.
...
Рейтинг: 0 / 0
25.05.2018, 18:12
    #39650091
ну я
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Шардинг геоданных
qwwq,

СК-95, 60 6-ти градусных зон.
Понятно, что плотность объектов по зонам разная, но 60 - оно как-то уже успокаивает, даже меня.
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Шардинг геоданных / 8 сообщений из 8, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]