powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / База данных с очень большим количеством таблиц
25 сообщений из 28, страница 1 из 2
База данных с очень большим количеством таблиц
    #34423674
Marvin_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Стоит задачаведения статистики действий пользователей в системе вроде форума. Статистика - не просто цифры, а комментарии, даты и цифровая информация.

Пример статистической записи(данные взяты с потолка, чисто для примера) :

Пользователь Id=123
Дата заключения контракта : 12-01-2006
Результат : контракт окончен успешно
Комментарии сторон : бла бла бла, были счастливы с вами поработать
Претензии : мойте руки перед едой
... и т. д.

Статистику нужно вести на протяжении всей жизни пользователя в системе.





Очевидна (для меня =)) необходимость создания каждому пользователю(пользователь - это организация) своей таблицы. Пользователей - тысячи.

Можно конечно вести статистику по месяцам - в таблицу, привязанную к месяцу кидать результаты контрактов всех пользователей.

Но тогда как получать статистику по конкретному пользователю ? Получение таких данных будет существенно перегружать систему (проход по всем таблицам статистики для сбора данных по одному пользователю).





В связи с этим возник ряд вопросов :

Будет ли база данных работать эффективно с огромным колличеством таблиц ?

Какие предвидятся траблы(снижение скорости определенных типов запросов и т. д.) ?

Поделитесь, пожалуйста опытом, может у кого возникали подобные задачи.
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423716
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Marvin_ru
Очевидна (для меня =)) необходимость создания каждому пользователю(пользователь - это организация) своей таблицы. Пользователей - тысячи.
...

В связи с этим возник ряд вопросов :

Будет ли база данных работать эффективно с огромным колличеством таблиц ?

Какие предвидятся траблы(снижение скорости определенных типов запросов и т. д.) ?

Поделитесь, пожалуйста опытом, может у кого возникали подобные задачи.

Очевидно для всех остальных - всех пользователей в одну таблицу, все другие таблицы, где фигурирует пользователь - связать с ней.
========
Такая база работать не будет вообще, так как Вас уволят сразу, как только Вы соберетесь ее делать.
===========
Только такие задачи (или похожие) мы тут все и решаем
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423725
Sgt.Pepper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Marvin_ru
Очевидна (для меня =)) необходимость создания каждому пользователю(пользователь - это организация) своей таблицы. Пользователей - тысячи.

А какие, простите аргументы в пользу очевидной необходимости.
По описанию задачи для меня совсем не очевидна.
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423729
Marvin_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
я не собираюсь каждого пользователя хранить в своей таблице =)

я говорю о ведении статистики по нему
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423732
Sgt.Pepper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Когда писал еще не виде Ваш ответ, Cat2
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423773
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Marvin_ruя не собираюсь каждого пользователя хранить в своей таблице =)

я говорю о ведении статистики по нему
Так и я говорю, таблица с пользователями, таблица со статистикой по ним. И очень много таблиц превращаются в две. Ну, плюс еще наверняка будет много справочников. Вот их действительно может получится очень много.
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423811
Marvin_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Cat2таблица со статистикой по ним

это не возможно.

в такую таблицу за месяц будет попадать около 300 000 записей

а статистику необходимо вести постоянно!
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423855
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И что? 3,5 миллиона в год. 350 миллионов за 100 лет. В чем невозможность? Пальцев не хватает нули посчитать?
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423880
Sgt.Pepper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Marvin_ru
а статистику необходимо вести постоянно!
Пока единственное утверждение не вызывающее аллергию )))
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423888
Marvin_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovИ что? 3,5 миллиона в год. 350 миллионов за 100 лет. В чем невозможность? Пальцев не хватает нули посчитать?

я не работал с такими большими таблицами

возьмем к примеру 3 года.

получаем около десяти миллионов записей

будут ли нормально(по времени,нагрузке на сервер) выполняться сложные запросы(или хотя бы простые выборки по конкретному пользователю) в таких объемах данных ?
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423905
Фотография Rin@t
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Marvin_ru:
СУБД, ОС, сервер?
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423918
Sgt.Pepper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Marvin_ruбудут ли нормально(по времени,нагрузке на сервер) выполняться сложные запросы(или хотя бы простые выборки по конкретному пользователю) в таких объемах данных ?
Могу себе представить Ваши сложные запросы.
Хотя огласите, плиз. Сервер, надо полагать, MySQL?.. Это так, догадки...
А взять просто и залить 1/10/100 млн записей а потом потестить - это из разряда сложных запросов?..
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423923
Marvin_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Rin@t2 Marvin_ru:
СУБД, ОС, сервер?

в начале MySQL на FreeBSD

при успешном развитии переведу на Oracle
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423933
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Marvin_ru Cat2таблица со статистикой по ним

это не возможно.

в такую таблицу за месяц будет попадать около 300 000 записей

а статистику необходимо вести постоянно!
Ну, 300 000 в месяц много, но не запредельно. У биллинговых систем и поболее будет.

Вам скорее всего нужно определится на каком скуль-сервере у вас будет все это крутиться и в соответсвующем разделе форума распросить, как лучше огранизовать хранение.
Но в любом случае, таблица статистики должна быть одна. Иначе вы получите кошмар со сводными данными. Ведь статистика ценна именно сводными данными?
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423949
Marvin_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sgt.Pepper Marvin_ruбудут ли нормально(по времени,нагрузке на сервер) выполняться сложные запросы(или хотя бы простые выборки по конкретному пользователю) в таких объемах данных ?
Могу себе представить Ваши сложные запросы.
Хотя огласите, плиз. Сервер, надо полагать, MySQL?.. Это так, догадки...
А взять просто и залить 1/10/100 млн записей а потом потестить - это из разряда сложных запросов?..

я попробую сам, конечно

интересовал Ваш опыт работы с такими объемами
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423957
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Кстати, я не понял, почему речь все время о ПОЛЬЗОВАТЕЛЯХ? Каждый пользователь ведет статистику о себе? Или, может быть, все же речь об объектах учета которыми являются люди?
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423967
Marvin_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Cat2Ведь статистика ценна именно сводными данными?

основная цель - получение информации о контрактах конкретного пользователя

от других запросов шефа как-нибудь отмахаемся =) ...если получаться не будет
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423969
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Marvin_ru Rin@t2 Marvin_ru:
СУБД, ОС, сервер?

в начале MySQL на FreeBSD

при успешном развитии переведу на Oracle

Легче сразу на Оракле пробовать, потом с портацией замучаетесь.
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423984
Marvin_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Cat2Кстати, я не понял, почему речь все время о ПОЛЬЗОВАТЕЛЯХ? Каждый пользователь ведет статистику о себе? Или, может быть, все же речь об объектах учета которыми являются люди?

пользователи заключают контракты

системой ведется статистика. автоматически. когда кем что было заключено.
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423985
Sgt.Pepper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Marvin_ru
интересовал Ваш опыт работы с такими объемами
Я в основном работаю с MS SQL. Никаких проблем с такими объемами не наблюдается. Правда я индексами пользуюсь. Ну вот есть сейчас табличка на 115 млн записей. выборка за месяц по "id пользователя" (по аналогии с Вашей задачей) возвращает 500-5000 записей за 1-2 сек.
На Oracle, насколько мне известно, также никто такие объемы за объемы не считает.
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34423998
Marvin_ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sgt.Pepper Marvin_ru
интересовал Ваш опыт работы с такими объемами
Я в основном работаю с MS SQL. Никаких проблем с такими объемами не наблюдается. Правда я индексами пользуюсь. Ну вот есть сейчас табличка на 115 млн записей. выборка за месяц по "id пользователя" (по аналогии с Вашей задачей) возвращает 500-5000 записей за 1-2 сек.
На Oracle, насколько мне известно, также никто такие объемы за объемы не считает.

вот, это я хотел услышать! =)

спасибо! =)
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34424013
Очень лысый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Marvin_ru

Да, мне бы 3 млн. записей за год. Я вот на рабочей станции своей держу для анализа несколько таблиц > 50 млн. записей, и запросы к ним сложности нехилой выполняю, и ничего, жив пока. Вообще, на мой крайне непросвещенный взгляд, в ряде случаев есть резон развести оперативную базу, где записи добавляются, редактируются, и базу, к которой прикручена аналитика и на которой предполагается выполнение сложных и нетиповых запросов.
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34424037
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Очень лысый Marvin_ru
Вообще, на мой крайне непросвещенный взгляд, в ряде случаев есть резон развести оперативную базу, где записи добавляются, редактируются, и базу, к которой прикручена аналитика и на которой предполагается выполнение сложных и нетиповых запросов.
В ряде случаев такой резон есть, если есть точная уверенность, что случаи, когда нужно будет править "архивные данные" будут редки. То, что таких совсем не будет - фантастика.
Однако это более относится к базам, где можно четко определить хронологические периоды "оперативности" информации.
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34424050
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Marvin_ru

вот, это я хотел услышать! =)

спасибо! =)
Так почему Вы сразу не зашли в Проектирование БД и не спросили, кто может работать с такими объемами?
...
Рейтинг: 0 / 0
База данных с очень большим количеством таблиц
    #34424067
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Извиниете. Конечно в СРАВНЕНИЕ БД
...
Рейтинг: 0 / 0
25 сообщений из 28, страница 1 из 2
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / База данных с очень большим количеством таблиц
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]