|
|
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Стоит задачаведения статистики действий пользователей в системе вроде форума. Статистика - не просто цифры, а комментарии, даты и цифровая информация. Пример статистической записи(данные взяты с потолка, чисто для примера) : Пользователь Id=123 Дата заключения контракта : 12-01-2006 Результат : контракт окончен успешно Комментарии сторон : бла бла бла, были счастливы с вами поработать Претензии : мойте руки перед едой ... и т. д. Статистику нужно вести на протяжении всей жизни пользователя в системе. Очевидна (для меня =)) необходимость создания каждому пользователю(пользователь - это организация) своей таблицы. Пользователей - тысячи. Можно конечно вести статистику по месяцам - в таблицу, привязанную к месяцу кидать результаты контрактов всех пользователей. Но тогда как получать статистику по конкретному пользователю ? Получение таких данных будет существенно перегружать систему (проход по всем таблицам статистики для сбора данных по одному пользователю). В связи с этим возник ряд вопросов : Будет ли база данных работать эффективно с огромным колличеством таблиц ? Какие предвидятся траблы(снижение скорости определенных типов запросов и т. д.) ? Поделитесь, пожалуйста опытом, может у кого возникали подобные задачи. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 10:34 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Marvin_ru Очевидна (для меня =)) необходимость создания каждому пользователю(пользователь - это организация) своей таблицы. Пользователей - тысячи. ... В связи с этим возник ряд вопросов : Будет ли база данных работать эффективно с огромным колличеством таблиц ? Какие предвидятся траблы(снижение скорости определенных типов запросов и т. д.) ? Поделитесь, пожалуйста опытом, может у кого возникали подобные задачи. Очевидно для всех остальных - всех пользователей в одну таблицу, все другие таблицы, где фигурирует пользователь - связать с ней. ======== Такая база работать не будет вообще, так как Вас уволят сразу, как только Вы соберетесь ее делать. =========== Только такие задачи (или похожие) мы тут все и решаем ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 10:43 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Marvin_ru Очевидна (для меня =)) необходимость создания каждому пользователю(пользователь - это организация) своей таблицы. Пользователей - тысячи. А какие, простите аргументы в пользу очевидной необходимости. По описанию задачи для меня совсем не очевидна. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 10:46 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
я не собираюсь каждого пользователя хранить в своей таблице =) я говорю о ведении статистики по нему ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 10:46 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Когда писал еще не виде Ваш ответ, Cat2 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 10:47 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Marvin_ruя не собираюсь каждого пользователя хранить в своей таблице =) я говорю о ведении статистики по нему Так и я говорю, таблица с пользователями, таблица со статистикой по ним. И очень много таблиц превращаются в две. Ну, плюс еще наверняка будет много справочников. Вот их действительно может получится очень много. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 10:59 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Cat2таблица со статистикой по ним это не возможно. в такую таблицу за месяц будет попадать около 300 000 записей а статистику необходимо вести постоянно! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:08 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
И что? 3,5 миллиона в год. 350 миллионов за 100 лет. В чем невозможность? Пальцев не хватает нули посчитать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:15 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Marvin_ru а статистику необходимо вести постоянно! Пока единственное утверждение не вызывающее аллергию ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:20 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Dimitry SibiryakovИ что? 3,5 миллиона в год. 350 миллионов за 100 лет. В чем невозможность? Пальцев не хватает нули посчитать? я не работал с такими большими таблицами возьмем к примеру 3 года. получаем около десяти миллионов записей будут ли нормально(по времени,нагрузке на сервер) выполняться сложные запросы(или хотя бы простые выборки по конкретному пользователю) в таких объемах данных ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:21 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
2 Marvin_ru: СУБД, ОС, сервер? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:24 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Marvin_ruбудут ли нормально(по времени,нагрузке на сервер) выполняться сложные запросы(или хотя бы простые выборки по конкретному пользователю) в таких объемах данных ? Могу себе представить Ваши сложные запросы. Хотя огласите, плиз. Сервер, надо полагать, MySQL?.. Это так, догадки... А взять просто и залить 1/10/100 млн записей а потом потестить - это из разряда сложных запросов?.. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:25 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Rin@t2 Marvin_ru: СУБД, ОС, сервер? в начале MySQL на FreeBSD при успешном развитии переведу на Oracle ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:26 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Marvin_ru Cat2таблица со статистикой по ним это не возможно. в такую таблицу за месяц будет попадать около 300 000 записей а статистику необходимо вести постоянно! Ну, 300 000 в месяц много, но не запредельно. У биллинговых систем и поболее будет. Вам скорее всего нужно определится на каком скуль-сервере у вас будет все это крутиться и в соответсвующем разделе форума распросить, как лучше огранизовать хранение. Но в любом случае, таблица статистики должна быть одна. Иначе вы получите кошмар со сводными данными. Ведь статистика ценна именно сводными данными? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:28 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Sgt.Pepper Marvin_ruбудут ли нормально(по времени,нагрузке на сервер) выполняться сложные запросы(или хотя бы простые выборки по конкретному пользователю) в таких объемах данных ? Могу себе представить Ваши сложные запросы. Хотя огласите, плиз. Сервер, надо полагать, MySQL?.. Это так, догадки... А взять просто и залить 1/10/100 млн записей а потом потестить - это из разряда сложных запросов?.. я попробую сам, конечно интересовал Ваш опыт работы с такими объемами ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:31 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Кстати, я не понял, почему речь все время о ПОЛЬЗОВАТЕЛЯХ? Каждый пользователь ведет статистику о себе? Или, может быть, все же речь об объектах учета которыми являются люди? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:33 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Cat2Ведь статистика ценна именно сводными данными? основная цель - получение информации о контрактах конкретного пользователя от других запросов шефа как-нибудь отмахаемся =) ...если получаться не будет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:35 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Marvin_ru Rin@t2 Marvin_ru: СУБД, ОС, сервер? в начале MySQL на FreeBSD при успешном развитии переведу на Oracle Легче сразу на Оракле пробовать, потом с портацией замучаетесь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:35 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Cat2Кстати, я не понял, почему речь все время о ПОЛЬЗОВАТЕЛЯХ? Каждый пользователь ведет статистику о себе? Или, может быть, все же речь об объектах учета которыми являются люди? пользователи заключают контракты системой ведется статистика. автоматически. когда кем что было заключено. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:38 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Marvin_ru интересовал Ваш опыт работы с такими объемами Я в основном работаю с MS SQL. Никаких проблем с такими объемами не наблюдается. Правда я индексами пользуюсь. Ну вот есть сейчас табличка на 115 млн записей. выборка за месяц по "id пользователя" (по аналогии с Вашей задачей) возвращает 500-5000 записей за 1-2 сек. На Oracle, насколько мне известно, также никто такие объемы за объемы не считает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:38 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Sgt.Pepper Marvin_ru интересовал Ваш опыт работы с такими объемами Я в основном работаю с MS SQL. Никаких проблем с такими объемами не наблюдается. Правда я индексами пользуюсь. Ну вот есть сейчас табличка на 115 млн записей. выборка за месяц по "id пользователя" (по аналогии с Вашей задачей) возвращает 500-5000 записей за 1-2 сек. На Oracle, насколько мне известно, также никто такие объемы за объемы не считает. вот, это я хотел услышать! =) спасибо! =) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:40 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Marvin_ru Да, мне бы 3 млн. записей за год. Я вот на рабочей станции своей держу для анализа несколько таблиц > 50 млн. записей, и запросы к ним сложности нехилой выполняю, и ничего, жив пока. Вообще, на мой крайне непросвещенный взгляд, в ряде случаев есть резон развести оперативную базу, где записи добавляются, редактируются, и базу, к которой прикручена аналитика и на которой предполагается выполнение сложных и нетиповых запросов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:43 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Очень лысый Marvin_ru Вообще, на мой крайне непросвещенный взгляд, в ряде случаев есть резон развести оперативную базу, где записи добавляются, редактируются, и базу, к которой прикручена аналитика и на которой предполагается выполнение сложных и нетиповых запросов. В ряде случаев такой резон есть, если есть точная уверенность, что случаи, когда нужно будет править "архивные данные" будут редки. То, что таких совсем не будет - фантастика. Однако это более относится к базам, где можно четко определить хронологические периоды "оперативности" информации. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:48 |
|
||
|
База данных с очень большим количеством таблиц
|
|||
|---|---|---|---|
|
#18+
Marvin_ru вот, это я хотел услышать! =) спасибо! =) Так почему Вы сразу не зашли в Проектирование БД и не спросили, кто может работать с такими объемами? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2007, 11:50 |
|
||
|
|

start [/forum/topic.php?fid=32&fpage=123&tid=1544650]: |
0ms |
get settings: |
8ms |
get forum list: |
11ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
43ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
39ms |
get tp. blocked users: |
1ms |
| others: | 229ms |
| total: | 344ms |

| 0 / 0 |
