powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Посоветуйте БД для 1+ Тб данных
6 сообщений из 6, страница 1 из 1
Посоветуйте БД для 1+ Тб данных
    #39764603
Victor256
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Приветствую. Стоит задача:
1) парсинг новостийных и не только rss через агрегаторы контента типа webhose
2) пользователь может поставить лайк/дизлайк к записи
3) после этого данная запись помечается как показанная этому пользователю и более ему не выводится

Примерно прикинул архитектуру. Будет основная таблица для контента, кол-во строк около 100-200к, объём около 100-200 мб (в сутки). Извлечение данных по первичному ключу, по языку, по типу контента (картинка, текст). Будет таблица "лайков" где будут хранится id пользователя, id контента и оценка. Объём, видимо, небольшой, но кол-во строк будет ориентировочно ~1млн в сутки. Ну и вспомогательные, небольшие справочные таблицы.

Ранее не работал с базами таких размеров. Смотрю в сторону postgresql, советуют так же монго, но хотелось бы услышать мнение имевших практический опыт работы с такими объёмами.
...
Рейтинг: 0 / 0
Посоветуйте БД для 1+ Тб данных
    #39764806
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Victor256,

поисковый индекс - elasticsearch, контент - mysql
...
Рейтинг: 0 / 0
Посоветуйте БД для 1+ Тб данных
    #39764903
Victor256
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
H5N1Victor256,

поисковый индекс - elasticsearch, контент - mysql
а можно подробнее, по реализации?
...
Рейтинг: 0 / 0
Посоветуйте БД для 1+ Тб данных
    #39765215
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Victor256Приветствую. Стоит задача:
1) парсинг новостийных и не только rss через агрегаторы контента типа webhose
2) пользователь может поставить лайк/дизлайк к записи
3) после этого данная запись помечается как показанная этому пользователю и более ему не выводится

Примерно прикинул архитектуру. Будет основная таблица для контента, кол-во строк около 100-200к, объём около 100-200 мб (в сутки). Извлечение данных по первичному ключу, по языку, по типу контента (картинка, текст). Будет таблица "лайков" где будут хранится id пользователя, id контента и оценка. Объём, видимо, небольшой, но кол-во строк будет ориентировочно ~1млн в сутки. Ну и вспомогательные, небольшие справочные таблицы.

Ранее не работал с базами таких размеров. Смотрю в сторону postgresql, советуют так же монго, но хотелось бы услышать мнение имевших практический опыт работы с такими объёмами.

Имхую:
1) Mongo я бы не использовал в качестве базы, разве что где-то сбоку...вспомогательно
2) PostgreSQL - да, вполне.
3) SQL Server - да, но денег стоит
Можно еще Redis в пп. 2 и 3, как дополнение в качестве кеша и т.д.
...
Рейтинг: 0 / 0
Посоветуйте БД для 1+ Тб данных
    #39771826
Фотография klich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Victor256с такими объёмами.Это небольшие объёмы, с ними вполне справится мускуль.

С технической т.з. лучше постгрес. Но с организационной т.з. специалиста по постгресу вы будете искать дольше, и стоить он будет дороже.
...
Рейтинг: 0 / 0
Посоветуйте БД для 1+ Тб данных
    #39782765
DrGonzo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Монга сможет, если схема нормально сделана и железо норм.
...
Рейтинг: 0 / 0
6 сообщений из 6, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Посоветуйте БД для 1+ Тб данных
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]