ReSQL.ru
     
powered by simpleCommunicator - 2.0.27     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / База под пользователей
14 сообщений из 14, страница 1 из 1
База под пользователей
    #38395330
itstrue
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
itstrue
Гость
Думаем вынести информацию о пользователях, которая сейчас в базе MySQL и занимает 3Gb в отдельную NoSQL БД.

Сами ID-шки пользователей оставить в мускуле по схеме ключ=значение и обращаться в NoSQL базу по ключу.

Как вы думаете имеет ли это смысл в плане улучшения скорости? Скорость очень критична, необходимо доставать информацию о пользователе со скоростью до 100 мс, плюс процесс осложнен тем, что регулярно надо проходить всю базу и обновлять статистику пользователей.
...
Рейтинг: 0 / 0
12.09.2013, 22:43
| Ответить | Цитировать | Написать  
База под пользователей
    #38395915
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
itstrue,

А сколько пользователей, сколько информации по пользователю, откуда такой большой объем данных?
...
Рейтинг: 0 / 0
13.09.2013, 12:55
| Ответить | Цитировать | Написать  
База под пользователей
    #38395926
Andrew1411
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andrew1411
Участник
DPH3,
Код: html
1.
2.
3.
<шутка>
    фотки много весят :)
</шутка>
...
Рейтинг: 0 / 0
13.09.2013, 13:01
| Ответить | Цитировать | Написать  
База под пользователей
    #38403440
itstrue
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
itstrue
Гость
Пользователей 30 млн, таблицы постоянно растут.
В таблицах хранится информация о пользователях:

uuid для идентификации, id primary_key
далее такие вещи как интересы в таблице key=value
и изначально сложно сделанная таблица со статистикий (первый визит, последний визит и т.д.) надо ее разбивать на ключ=значение

но даже самые простые таблицы ключ=значение весят много

Я хочу понять, имеет ли смысл оставаться на MySQL или стоит посмотреть в сторону например Редиса?

Сейчас база уже 5Gb и постоянно увеличивается, срочно уже надо добавлять новую информацию о пользователях, но страшно, т.к. таблицы растут как грибы после дождя.
...
Рейтинг: 0 / 0
21.09.2013, 12:47
| Ответить | Цитировать | Написать  
База под пользователей
    #38403460
itstrue
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
itstrue
Гость
и еще очень хотелось бы иметь сортировку, например выбрать определенных пользователей по дате или какому-то полю
...
Рейтинг: 0 / 0
21.09.2013, 13:18
| Ответить | Цитировать | Написать  
База под пользователей
    #38403867
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
itstrue,
я бы сказал, что надо смотреть в сторону PostgresSQL или DB2 Express C. Объемы смешные, логика не совсем уж откровенное ключ-значение, все особенности noSQL тут нафиг не нужны.
По идее, даже если просто запихать все "неключевые" поля в блоб, то еще надолго хватит любой реляционки (mysql не предлагать). И с гарантией можно будет доставать любое значение за два физрида, это у нас 20ms на произвольных hdd.
...
Рейтинг: 0 / 0
22.09.2013, 13:35
| Ответить | Цитировать | Написать  
База под пользователей
    #38404356
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ASCRUS
Участник
Привет. Если что то надо быстро искать по множеству критериев, поддержкой отказоустойчивости и масштабированием, то есть интересный продукт ElasticSearch. Вот статья с хабра http://habrahabr.ru/post/122531/.
...
Рейтинг: 0 / 0
23.09.2013, 10:08
| Ответить | Цитировать | Написать  
База под пользователей
    #38404740
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
ASCRUS,
ElasticSearch (как и SOLR и, собственно, Lucene) - это решения для полнотекстового поиска. Т.е. поиск по критериям там делать можно, но они не про это )
...
Рейтинг: 0 / 0
23.09.2013, 14:51
| Ответить | Цитировать | Написать  
База под пользователей
    #38405077
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ASCRUS
Участник
DPH3ASCRUS,
ElasticSearch (как и SOLR и, собственно, Lucene) - это решения для полнотекстового поиска. Т.е. поиск по критериям там делать можно, но они не про это )
Эти решения в том числе для полнотекстового поиска. Это же колонкоориентированные MPP в виде индексов, на них замечательно можно вешать каталоги продукций, базы пользователей и т.д. Примеров таких проектов очень много. Вот один из примеров, о котором я слушал на недавней конференции разработчиков BigData: http://www.slideshare.net/DmitriBabaev1/elastic-search-moscow-bigdata-cassandra-sept-2013-meetup .
...
Рейтинг: 0 / 0
23.09.2013, 18:40
| Ответить | Цитировать | Написать  
База под пользователей
    #38406286
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
ASCRUSЭто же колонкоориентированные MPP в виде индексов, на них замечательно можно вешать каталоги продукций, базы пользователей и т.д.

Э, вы пробовали? Под конкурентной нагрузкой на запись и чтение? С транзакциями? И как?

Lucene - это конкретный инструмент (очень хороший), но использовать его для OLTP задач (а у топикстартера задачи ближе к OLTP) - довольно странно и противоречиво. Да и необходимости нет, любая БД справится лучше )

ASCRUSПримеров таких проектов очень много. Вот один из примеров, о котором я слушал на недавней конференции разработчиков BigData: http://www.slideshare.net/DmitriBabaev1/elastic-search-moscow-bigdata-cassandra-sept-2013-meetup .
Ну, мне сложно что-то разумное извлечь из презентации, в которой всего лишь пересказан кусочек документации, но нет ни слова о реальном использовании, нагрузках, сравнении с тем же SOLR и т.п. Уж очень смахивает на marketing bullshit. Впрочем, увы, 90% докладов по noSQL - такие же. Тут человек хотя бы посмотрел, а как оно внутри, обычно и этого не делают.
...
Рейтинг: 0 / 0
24.09.2013, 16:16
| Ответить | Цитировать | Написать  
База под пользователей
    #38406526
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ASCRUS
Участник
Я не увидел у автора топика задачи близкой к OLTP. Дана база пользователей, критично время поиска по ней, регулярно надо обновлять статистику по всей базе пользователей. Я слово регулярно не воспринимаю в реалтайм, а периодически. При таком раскладе ElasticSearch должен нормально вписаться.

P.S. Реальные нагрузки, скорости, объемы конечно же надо слушать,а не смотреть в презентации. Человек, который ее выложил, в продакшене имеет высоконагруженный проект на ElasticSearch. Если тема близка автору, самое оно написать автору презентации и пообщаться, я думаю он с удовольствием ответит на вопросы и поможет чем сможет :)
...
Рейтинг: 0 / 0
24.09.2013, 19:18
| Ответить | Цитировать | Написать  
База под пользователей
    #38438737
APlus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
APlus
Участник
Рекомендую Vertica.

Основные плюсы:
- Аналитика в реальном времени – и запросы, и загрузка данных
- Поддерживает действительно большие объемы данных– Терабайты и больше
- Неограниченная масштабируемость
- Экстремальная производительность
- Простота использования и администрирования
-Легкость разработки решения.
- Энергетическая эффективность

Если добавить к Vertica еще Tableau для визуализации данных, получится отличное BI-решение. Подробнее http://analytikaplus.ru/?page_id=68

Примеры успешных внедрений HP Vertica + Tableau: http://analytikaplus.ru/?p=751
...
Рейтинг: 0 / 0
23.10.2013, 17:21
| Ответить | Цитировать | Написать  
База под пользователей
    #38440769
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Winnipuh
Участник
itstrueПользователей 30 млн, таблицы постоянно растут.
В таблицах хранится информация о пользователях:

uuid для идентификации, id primary_key
далее такие вещи как интересы в таблице key=value
и изначально сложно сделанная таблица со статистикий (первый визит, последний визит и т.д.) надо ее разбивать на ключ=значение

но даже самые простые таблицы ключ=значение весят много

Я хочу понять, имеет ли смысл оставаться на MySQL или стоит посмотреть в сторону например Редиса?

Сейчас база уже 5Gb и постоянно увеличивается, срочно уже надо добавлять новую информацию о пользователях, но страшно, т.к. таблицы растут как грибы после дождя.

Вас только объем пугает или производительность? или ?

Если бы вы привели структуру таблиц, индексов, может что и прояснилось бы.
Возможно в консерватории что-то не так.
имхую, что такой объем для таких задач как у вас не должен быть проблемой для реляционной БД.
А прикручивание сбоку еще одного двух продуктов чуда не сделает.
...
Рейтинг: 0 / 0
25.10.2013, 09:53
| Ответить | Цитировать | Написать  
База под пользователей
    #38440802
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Winnipuh
Участник
APlusРекомендую Vertica.

Основные плюсы:
- Аналитика в реальном времени – и запросы, и загрузка данных
- Поддерживает действительно большие объемы данных– Терабайты и больше
- Неограниченная масштабируемость
- Экстремальная производительность
- Простота использования и администрирования
-Легкость разработки решения.
- Энергетическая эффективность

Если добавить к Vertica еще Tableau для визуализации данных, получится отличное BI-решение. Подробнее http://analytikaplus.ru/?page_id=68

Примеры успешных внедрений HP Vertica + Tableau: http://analytikaplus.ru/?p=751

не задалбывай этой фигнёй с "энергетической эффективностью"
...
Рейтинг: 0 / 0
25.10.2013, 10:15
| Ответить | Цитировать | Написать  
14 сообщений из 14, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / База под пользователей
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
Закрыть
Start [/forum/topic.php?fid=48&fpage=11&tid=1856923]:
 0ms
get settings:
 8ms
get forum list:
 6ms
check forum access:
 1ms
check topic access:
 1ms
track hit:
 109ms
get topic data:
 5ms
get forum data:
 1ms
get page messages:
 504ms
get tp. blocked users:
 1ms
others: 149ms
total:  785ms
созд. / загр.: 785ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]