powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Куда быстрее писать данные в базу или в фаил
6 сообщений из 6, страница 1 из 1
Куда быстрее писать данные в базу или в фаил
    #33019658
stofel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Бытует мнение что БД это хорошо, но если надо сделать что то хорошее надо писать самому.
Стоит задача вести сохранение потока данных на том железе что есть.
Потом нужно строить например графки или отчеты какие нибудь.
Организовали это дело на Postgres.
Через некоторое время стало ясно что посгрес не справляется.
Пока пустая база нормально но буквально через день быстродействие падает на порядок. и продолжает падать (пусть уже и не такими темпами)

Данных реально много тюнинг посгреса и организация темповых таблиц сильно не спасли.

Вот есть решение что надо писать на си приложение которое будет писать данные в файлы. Например за каждые 3 часа с каждого источника отдельный фал), а вбазе хранить только ссылки на эти бинарники.
И есть мнение что так будет быстрее.

А мне не хочется отходить от первоначального замысла, т.к. потеря гибкости, да и писать много. Какие могут быть грабли с писанием в файлы, как доказать что все таки не зря БД есть ей и пользоваться надо.

Ведь наверняка многие стояли перед таким выбором, бросить все щас наколенке сами напишем!!

В общем help!
фаил или постгрес??
...
Рейтинг: 0 / 0
Куда быстрее писать данные в базу или в фаил
    #33019752
vfabr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
слов много все вроде правильные и нифига не понятно

- что за Postgres?
- какое железо?
- каков объем потока данных (например мб в сутки)?
- как тюнинговали (слово то какое)?
- что значит " не справляется"?

БД на коленке не напишешь :-))

проблемы с файлами зависят от того что с инфой в них нужно делать дальше
--------------------------------
жизнь как пестня
...
Рейтинг: 0 / 0
Куда быстрее писать данные в базу или в фаил
    #33019855
Алексей Ключников
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
пень 4 1800 ram 256 hdd 40Gb
сохранять надо порядка 1 - 1.5 млн записей в сутки
1 запись - int,timestamp,int,float,int,int,int,int,int,int

На пустую базу быстродействие удовлетворительное
А например на второй день прога которая делает инсерты
замедляет свою работу из за задержек на инсерты.
Тут немного ранее был пост с аналогичной проблемой.
Замедление инсертов с ростом базы это глюк или так и должно быть.
А в других БД так же?
...
Рейтинг: 0 / 0
Куда быстрее писать данные в базу или в фаил
    #33019866
vfabr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
на чем пишите и как делаете инсерты? (биндингиспользуете или нет?)

кстати глянь про инсерты. я вчера тестил вставки и очень интересные результаты получились ...
...
Рейтинг: 0 / 0
Куда быстрее писать данные в базу или в фаил
    #33020406
Hordi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ИМХО как простое хранилище файл однозначно быстрее будет,как и чтение-поиск данных по нему.Другой вопрос, что PG-база обеспечивает надежность и гибкость (произвольные запросы и все такое). Все определяется конечной задачей.
...
Рейтинг: 0 / 0
Куда быстрее писать данные в базу или в фаил
    #33020563
Алексей Ключников
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Осталось решить что важнее.. спасибо.
...
Рейтинг: 0 / 0
6 сообщений из 6, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Куда быстрее писать данные в базу или в фаил
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]