Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Куда быстрее писать данные в базу или в фаил
|
|||
|---|---|---|---|
|
#18+
Бытует мнение что БД это хорошо, но если надо сделать что то хорошее надо писать самому. Стоит задача вести сохранение потока данных на том железе что есть. Потом нужно строить например графки или отчеты какие нибудь. Организовали это дело на Postgres. Через некоторое время стало ясно что посгрес не справляется. Пока пустая база нормально но буквально через день быстродействие падает на порядок. и продолжает падать (пусть уже и не такими темпами) Данных реально много тюнинг посгреса и организация темповых таблиц сильно не спасли. Вот есть решение что надо писать на си приложение которое будет писать данные в файлы. Например за каждые 3 часа с каждого источника отдельный фал), а вбазе хранить только ссылки на эти бинарники. И есть мнение что так будет быстрее. А мне не хочется отходить от первоначального замысла, т.к. потеря гибкости, да и писать много. Какие могут быть грабли с писанием в файлы, как доказать что все таки не зря БД есть ей и пользоваться надо. Ведь наверняка многие стояли перед таким выбором, бросить все щас наколенке сами напишем!! В общем help! фаил или постгрес?? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.04.2005, 20:07 |
|
||
|
Куда быстрее писать данные в базу или в фаил
|
|||
|---|---|---|---|
|
#18+
слов много все вроде правильные и нифига не понятно - что за Postgres? - какое железо? - каков объем потока данных (например мб в сутки)? - как тюнинговали (слово то какое)? - что значит " не справляется"? БД на коленке не напишешь :-)) проблемы с файлами зависят от того что с инфой в них нужно делать дальше -------------------------------- жизнь как пестня ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.04.2005, 00:26 |
|
||
|
Куда быстрее писать данные в базу или в фаил
|
|||
|---|---|---|---|
|
#18+
пень 4 1800 ram 256 hdd 40Gb сохранять надо порядка 1 - 1.5 млн записей в сутки 1 запись - int,timestamp,int,float,int,int,int,int,int,int На пустую базу быстродействие удовлетворительное А например на второй день прога которая делает инсерты замедляет свою работу из за задержек на инсерты. Тут немного ранее был пост с аналогичной проблемой. Замедление инсертов с ростом базы это глюк или так и должно быть. А в других БД так же? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.04.2005, 12:26 |
|
||
|
Куда быстрее писать данные в базу или в фаил
|
|||
|---|---|---|---|
|
#18+
на чем пишите и как делаете инсерты? (биндингиспользуете или нет?) кстати глянь про инсерты. я вчера тестил вставки и очень интересные результаты получились ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.04.2005, 12:55 |
|
||
|
Куда быстрее писать данные в базу или в фаил
|
|||
|---|---|---|---|
|
#18+
ИМХО как простое хранилище файл однозначно быстрее будет,как и чтение-поиск данных по нему.Другой вопрос, что PG-база обеспечивает надежность и гибкость (произвольные запросы и все такое). Все определяется конечной задачей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.04.2005, 10:13 |
|
||
|
|

start [/forum/topic.php?fid=53&fpage=343&tid=2007313]: |
0ms |
get settings: |
8ms |
get forum list: |
10ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
37ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
26ms |
get tp. blocked users: |
1ms |
| others: | 247ms |
| total: | 347ms |

| 0 / 0 |
