powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Хранение файлов в бд или в файловой системе?
61 сообщений из 61, показаны все 3 страниц
Хранение файлов в бд или в файловой системе?
    #39673264
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Подскажите пожалуйста как лучше сделать? Любые файлы, не только картинки.

Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д.

Но все же.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673274
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklop,
Поиск по темам.
Оракл хранит в бд как файлы вне в бд.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673310
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Можно еще какой-нибудь openstack swift взять. Смотря для чего.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673533
tunknown
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopДа, я понимаю что это зависит именно от проекта, от нагрузки и т.д.MSSQL умеет FILESTREM/FILETABLE, в нём можно и в базе. MySQL такого, кажется, ещё не умеет. Это зависит не только от нагрузки, но и от базы.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673617
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklop,

В общем случае лучше на файловой системе.
В частном, надо смотреть какая БД, какая предполагается загрузка, какой размер файлов и т.д.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673637
Фотография Valentin Kolesnikov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopПодскажите пожалуйста как лучше сделать? Любые файлы, не только картинки.

Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д.

Но все же.

Как альтернатива файлы можно хранить в Amazon S3 и Firebase.

С уважением, Валентин
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673646
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mad_nazgulВ общем случае лучше на файловой системе.
В частном, надо смотреть какая БД, какая предполагается загрузка, какой размер файлов и т.д.склоняюсь к хранению в файловой системе - бэкап делается простым копированием файлов. бэкап же базы - дело специфическое , и если файлов много - база получается очень большой и время вэкапа возрастает.
если файлы - то и просмотр возможен без базы субд
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673650
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopПодскажите пожалуйста как лучше сделать? Любые файлы, не только картинки.

Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д.

Но все же.

Классика всё же- хранение в БД ссылки на доступное app-серверу хранилище файлов.

Ну или hdfs, кстати. Три копии, читать с любого места, можно потом хоть spark запускать. Единственное- не любит много файлов в одном каталоге.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673668
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
СУБД дает возможность поддержать целостность. 100500 файлов на диске без продвинутых и самописных средств администрирования - это не бэкап, а помойка, где никто никогда не разберется.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673677
Partisan M
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey TominКлассика всё же- хранение в БД ссылки на доступное app-серверу хранилище файлов.

Никакая это не классика, а один из 2 способов. Слово app-сервер не существует, но про него не спрашивали.

mad_nazgulВ общем случае лучше на файловой системе.


Уровень аргументации потрясает.

PetroОракл хранит в бд как файлы вне в бд.

Тоже не угадал. В Oracle есть 2 способа. Вы указали один - объекты типа BFile, хранящие ссылку на файл. Но файлы можно хранить и в BLOB. О чём и спрашивали - что выбирать.

Ответ автору темы: тут вам не ответят ввиду нехватки знаний у ораторов.

При хранении ссылок на файл, то есть например как BFile в Oracle, следует иметь ввиду недостатки этого способа:
- при репликации содержимого базы не подвергается репликации содержимое файлов (средствами СУБД), о нём надо заботиться отдельно. Таким образом, есть дополнительный риск поери данных или несогласованного состояния их.
- при изменении содержимого файлов это не отражается в объектах базы.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673686
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevСУБД дает возможность поддержать целостность.
- это плюс, все остальное это минусы. Уже сказали:
- жирный бэкап (конечно зависит от количества и размера файлов)
- не все БД умеют хранить файлы эффективно (хранить их как BLOB - убивать производительность)
- любые операции с файлами потребуют дополнительный действий с БД (увеличиваем нагрузку на БД)

Leonid Kudryavtsev100500 файлов на диске без продвинутых и самописных средств администрирования - это не бэкап
- наличие правильного RAID позволяет долго жить без бэкапирования, но в любом случае, бэкапирование ФС - это хорошо проработанная тема с кучей готовых инструментов и решений
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673696
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Kachalov- наличие правильного RAID позволяет долго жить без бэкапирования,

полный бред
с таким же успехом, можно купить дорогой жесткий диск и уверять "у меня качественный SSD Intel, мне бэкапы не нужны"
правильность RAID и бэкапы - вещь совершенно перпендикулярное. Как сравнивать мягкой и теплое.

Kachalovно в любом случае, бэкапирование ФС - это хорошо проработанная тема с кучей готовых инструментов и решений

Возможно. Не являюсь специалистов в бэкапирование ФС.
Но и бэкапирования базы - тоэе хорошо проработанная тема с кучей готовых инструментов и решений ))) и тоже проблемой не является

А вот вопрос, насколько СИНХРОННОЕ бэкапирование ФС и БД - является проработанно схемой и какие Вы знаете для этого бесплатные инструменты?

Как пример. Произошла авария. Потеряны данные на диске за последний день. Какой инструмент бэкапирования ФС выдаст список товаров, от которых потерялись фотки.
Или, например, для музейной системы обслуживающую полиграфическую деятельность, список предметов для последних издаваемых каталога, где частично потерялись обработанные дизайнером файлы из издательства в другой стране
(т.е. ценность файлов достаточно высока, до тысячь долларов за файл: отослать картину за границу + страховка + спецтранспорт до аэропорта, профессиональная сьемка /100-300$ за слайд/, обработка слайда дизайнером издательства /сканирование, обрезка, цветокоррекция/)
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673698
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Kachalov- жирный бэкап (конечно зависит от количества и размера файлов)имел дело с системой хранящей файлы в базе - как таковых данных не много , но весь бэкап -больше 14гиг и растёт. как-то не в радость делать такой постоянно.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673704
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevА вот вопрос, насколько СИНХРОННОЕ бэкапирование ФС и БД - является проработанно схемой и какие Вы знаете для этого бесплатные инструменты?у seagate есть бесплатные , поставляемые с их внешними дисками - делают бэкап файлов налету. и как бы файл не был большим он всегда меньше файла базы данный - и достаточно в бэкап добавлять только новые файлы - что быстрее.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673713
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsevполный бред
с таким же успехом, можно купить дорогой жесткий диск и уверять "у меня качественный SSD Intel, мне бэкапы не нужны"
правильность RAID и бэкапы - вещь совершенно перпендикулярное. Как сравнивать мягкой и теплое.
- да, насчет того что RAID и бэкап перпендикулярны, согласен, так ведь я и написал "RAID позволяет долго жить без бэкапирования", так что "полного бреда" в своем тезисе не наблюдаю.

Знаю, что многие компании специализирующиеся на хостинге игнорируют бэкапы годами и вспоминают о них только когда RAID деградирует и резко снижается производительность. Но и это не самая страшная проблема. А вот восстановление данных из бэкапа - это гарантированный простой, прямо пропорциональный размеру бэкапа. Кроме того бывают такие объемы данных для которых понятие бэкапа неприменимо.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673715
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Partisan MТоже не угадал. В Oracle есть 2 способа. Вы указали один - объекты типа BFile, хранящие ссылку на файл. Но файлы можно хранить и в BLOB. О чём и спрашивали - что выбирать.у тебя трудности со чтением?
Я указал альтернативу хранеия в блоб.
Т.е. ссылка на файл в бд.
Обзор и недостатки писать, у меня ты есть.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673936
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevВозможно. Не являюсь специалистов в бэкапирование ФС.
Но и бэкапирования базы - тоэе хорошо проработанная тема с кучей готовых инструментов и решений ))) и тоже проблемой не является

А вот вопрос, насколько СИНХРОННОЕ бэкапирование ФС и БД - является проработанно схемой и какие Вы знаете для этого бесплатные инструменты?

да нет никакого синхронного бэкапа, файлуха и бд сами по себе

после аварии надо восстанавливаться на момент до падения
база это сделает за счет архивлогов
а фс только на момент последнего фулл или инкр бэкапа
дельта по файлам, с момента бэкапа до аварии потеряется


есть правда фс с полным журналированием, типа zfs
у вас она стоит?
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673938
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KachalovЗнаю, что многие компании специализирующиеся на хостинге игнорируют бэкапы годами и вспоминают о них только когда RAID деградирует и резко снижается производительность. Но и это не самая страшная проблема. А вот восстановление данных из бэкапа - это гарантированный простой, прямо пропорциональный размеру бэкапа. Кроме того бывают такие объемы данных для которых понятие бэкапа неприменимо.
глупости
любой объем бэкапят, хоть на ленту хоть на диск,
бэкапы - это не технический вопрос а организационный
данные важны? значит бэкап.
не так важны? ну и забьем

че там у хостеров? логи посещений?
а что в банках? твои денюжки
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673940
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopНо все же.
Если оперировать терминами RPO и RTO, то при хранении файлов на ФС можно выжать лучшие показатели при меньших расходах. Bottom line такой: когда надо записать файл, генерируем для него айдишник (long например), каждый октет, кроме последнего, определяет каталог ФС, последний - имя файла, в итоге все пути получаются уникальные и в каждом каталоге не особо много файлов получается (до 256), записываем файл на ФС, записываем информацию о файле в базу, коммитим транзакцию. Нужно обновить файл? Создаем новый, а не обновляем старый! То что при таком подходе ФС может уходить вперед от БД (при откатах или восстановлениях БД) - ничего страшного в этом нет, к потеряшкам все равно никто обращаться не будет (нет записей в БД) - делаем фоновое задание, которое будет удалять потеряшки и все. Нужно время бэкапа уменьшить? Ок, создаем несколько каталогов для хранения файлов, для каждого отдельный пул идентификаторов в базе, один из них помечаем активным - куда будет идти запись новых файлов, как только переключились с одного каталога на другой переключаем старый в RO, делаем ему последний бэкап и перестаем бекапить вообще. Нужно что-то еще более продвинутое? Впихиваем гибридную ФС, которая сама будет старье куда-нибудь на ленту сливать, а то к чему недавно обращались держать на ФС, либо колхозим временное хранение в BLOB/BFILE и слитие в ФС.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673951
schi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хранить надо в одном месте, чтобы не мучиться с синхронизацией. То есть, в базе, если кроме файлов в базе есть еще какие-то данные.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673962
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинаклюбой объем бэкапят, хоть на ленту хоть на диск,только гемору разное количество.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673963
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Можно сколько угодно рассуждать о том, где их можно хранить, но без четкой задачи дать однозначный ответ никто не сможет.
ТС`у может файлы по 100 гигов надо хранить.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39673969
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hett,
+1
Это напоминает:
авторДесктоп или веб? Что лучше?
Подскажите пожалуйста как лучше сделать? Любые файлы программы, не только картинки игрушки.
Да, я понимаю что это зависит именно от проекта, от нагрузки и т.д.
Но все же.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674123
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинакглупости
любой объем бэкапят, хоть на ленту хоть на диск,
бэкапы - это не технический вопрос а организационный

- ну-ну:
Архив Интернета - по состоянию на октябрь 2016 года — 15 петабайт

казинакче там у хостеров? логи посещений?
а что в банках? твои денюжки
- у хостеров сайты и данные клиентов, которые за свои данные и простой норовят содрать втридорога
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674127
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хитрый Tsyklop хочет получить сразу ответы - но их нет. Более того - он не хочет отвечать
по нагрузке, размеру файлов и т.п. Это невежливо.

Эта задача - суть матрица стратегий.

Если ее нарисовать табличкой

Хранение файлов в файловой системеХранение файлов в БДУдальная стоимость хранения 1ГбПропускная способность (мб/сек)Наличие hot backup (и здесь можно написать еще около 100 пунктов)

то у нас - будет вектор параметров которые можно как-то сравнивать с задачей и что-то
там решать на архитектурном уровне.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674190
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
maytonХитрый Tsyklop хочет получить сразу ответы - но их нет. Более того - он не хочет отвечать
по нагрузке, размеру файлов и т.п. Это невежливо.

Эта задача - суть матрица стратегий.

Если ее нарисовать табличкой

Хранение файлов в файловой системеХранение файлов в БДУдальная стоимость хранения 1ГбПропускная способность (мб/сек)Наличие hot backup (и здесь можно написать еще около 100 пунктов)

то у нас - будет вектор параметров которые можно как-то сравнивать с задачей и что-то
там решать на архитектурном уровне.

не отвечаю ибо спрашиваю вообще, а не за конкретный проект.
Размер файлов любой.

И то если брать проект, то по началу нагрузки не будет ибо он будет развиваться, но потом возрастет. Это тоже надо учитывать.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674199
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
За СУБД:
1. СУБД поддерживает логическую целостность данных + транзакции
(начали добавлять 100500 файлов в транзакции, посередине произошла ошибка, с диска мусор удалять не нужно, СУБД сама rollback сделает)
2. Единый протокол на доступ к данным и файлам - например для нас это было критично. Есть СУБД Oracle в другом городе, до нее специально проброщен маршрут на порты SQL*NET через роутеры. Доступа к серверу по другим протоколам просто нет.
3. Единая настройка безопасность доступа к данным и к файлам (пользователи, пароли, роли СУБД)

За хранение отдельно
1. Ниже стоимость хранения (СУБД удовольствие не бесплатное)
2. Потенциально достижимые более высокие скорости доступа к файлам, т.к. протоколы СУБД все же не достаточно оптимизированы на работу в этом режиме
(например протоколы передача файлов на 10G Ethernet в Windows могут работать напрямую через DMA память одного компьютера - сетевая карта - память другого компьютера, СУБД разумеется так не умеют)
3. На начальном этапе разработки, при отсутвие квалифицированных разработчиков, это может оказаться более простым решением, чем работа с BLOB'ами

Против хранения отдельно:
1. Выше стоимость администрирования. Выше вероятность логической ошибки в данных. Логическую целостность данных нужно поддерживать руками и затратой времени админа + каким-то специальным софтом (искать расхождения между ФС и СУБД. Потерянные/запорченные файлы, лишние файлы/мусор).

AFAIK
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674201
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Leonid Kudryavtsev, Спасибо за ответ.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674209
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevЗа СУБД:
1. СУБД поддерживает логическую целостность данных + транзакции
(начали добавлять 100500 файлов в транзакции, посередине произошла ошибка, с диска мусор удалять не нужно, СУБД сама rollback сделает)Давайте поправлю: СУБД сама **за пару часов** rollback сделает

Хранить файлы в базе можно себе позволить разве что в случае маленького приложения, с небольшим количеством негеораспределенных пользователей. Как только пользаков становится много получаем треш и угар:
пока пользователь тянет файл он держит сессию в базе (ну есть варианты типа закачивать файл в память и отдавать, или во временную директорию, но зачем?), т.е. ресурсы базы используем крайне неоптимально

что делать в случае гео-распределенных пользователей вообще непонятно (ну т.е. понятно что нужно городить колхоз, но зачем?)

Leonid Kudryavtsev3. Единая настройка безопасность доступа к данным и к файлам (пользователи, пароли, роли СУБД)
Вы, на мой взгляд, слишком увлеклись Кайтом , какая к черту безопасность? файлами владеет приложение и больше никто туда не суется, или вы по ftp файлы собрались расшаривать? Единое что-то означает единые ресурсы, а это гвоздь в гробу масштабирования.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674211
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklopне отвечаю ибо спрашиваю вообще, а не за конкретный проект.
Размер файлов любой.

И то если брать проект, то по началу нагрузки не будет ибо он будет развиваться, но потом возрастет. Это тоже надо учитывать.
Концептуально.

Любая реляционная БД (исторически) проектировалась как механизм обслуживающий
данные в таблицах в 1-2-3 НФ. И для того чтобы этот механизм работал эффективно
(buffer pool), надо чтобы атомы которые хранятся в таблицах были не очень большого
размера. 1-НФ кстати требует чтоб в ячейках лежали атомы. Можно-ли файл считать
атомом? Сложный вопрос. Я считаю что в общем случае нельзя. Если это текст или XML
документ - то его поля могут модифицироваться независимо. Тоесть поверх РМД у нас
есть еще другая модель внутри поля где мы также что-то модифицируем.
Налицо - отсутствие 1-НФ. А это ставит под вопрос вообще коцепцию. Зачем
мы берем реляционку если там все равно правила проектирования уже нарушены.

По лимитам и перформансу.

В БД Oracle к примеру существуют серъезные ограничения на длину строки.
Не более 4К. Эти ограничения как-бы подталкивают разработчика к обдумывание
типов данных перед тем как создать таблицу. Вообще очень длинные строки плохо
обслуживаются в РМД. Даже элементарный LIKE или сортировка или comparison
по большим строкам могут серъезно подрубить перформанс. И пока вы будете
копаться в оптимизаторе или еще где-то ваш владелец ПО и пользователи будут
терпеть непонятные падения перформанса на "пустом" месте. И здесь любой
DBA вам скажет что первым делом для устранения этой проблемы надо устранить
сами BLOBS. Иначе перформанса не будет со всеми вытекающими. Потеря репутации.
Недовольство заказчика.

Вобщем нужно беречь и ценить buffer-pool и исключать туда попадания блоков
которые просто заполнены картинками или прочими файлами.

Поэтому если вы решили перенести файлы (объекты не имеющие априори ограничений)
в вашу БД - вы должны понимать что наряду с быстрой SQL-машиной и SQL-сетевым
протоколом который оптимизирован на маленькие строчки (атомы в рамках модели)
вы "включите в игру" огромные длинные бинарные объекты которые участвуют в
буферном кешировании (store blob in row), либо не участвуют но при этом
поиск по ним замедлен из-за того что нет физической консолидации прочитанного
блока с нужными вам данными и собственно файла или BLOB. Архитектурно
во многих DBMS BLOB реализован как аттачмент. Он хранится отдельно от таблички.
JDBC-API видит его как InputStream. К сожалению многие ORM средства создают
дополнительную услугу. (Медвежью услугу). Они презентуют BLOB как строковую
переменную. Создаётся иллюзия что всё нормально. Но на самом деле на уровне
Fetch курсора потребуется сборка его частей из разных физических сегментов.
Здесь нужно думать о lazy-операциях или лучше переписать логику вообще.
По этому таблички с BLOB - медленные по определению. Если вам нужен
перформанс - BLOB - не ваш друг. Ищите альтернатив.

Вобщем лучше в табличку вынести ID файла. Или путь файла. Вариантов у разработчика
всегда много. И переписать приложение таким образом чтобы реляционные данные лежали
в базе а аттачмент (картика или еще что-то) лежали на файловых ресурсах (Amazon e.t.c.)
или на ваших файловых ресурсах веб-сервера.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674225
GregTk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklop,

И всё же нет ответа на вопрос, так как нет требований

Подойдёт любое решение из этих:

- БД
- FS
- DFS
- Cloud solution

какие либо +/- и обсуждение их в целом не имеют смысла. Вот есть у меня такая ссылка может она поможет https://cloud.google.com/storage-options/
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674253
Фотография stdio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Oracle dbfs
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674329
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopРазмер файлов любой.аватарка 16х16 пикселей?
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674392
Tsyklop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Petro123аватарка 16х16 пикселей?
дело юзера. Хочет такую - пущай. его дело.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674414
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TsyklopPetro123аватарка 16х16 пикселей?
дело юзера. Хочет такую - пущай. его дело.
Нет. Ограничения всегда есть.
Поэтому для аватарок храни в модели, а модель хибера в базе.
И думать нефиг.
Для документооборота, модели программ СЭД открой другой топик и не морочь голову людям.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674426
казинак
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonВобщем нужно беречь и ценить buffer-pool и исключать туда попадания блоков
которые просто заполнены картинками или прочими файлами.
nocache
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674474
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
казинакmaytonВобщем нужно беречь и ценить buffer-pool и исключать туда попадания блоков
которые просто заполнены картинками или прочими файлами.
nocache
Depends on storage in row.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674859
kolobok0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Tsyklop..Но все же.

всё же зависит от условий.
например на серваках типа AS400 - вообще нет понятия ФАЙЛ или ФС от слова СОВСЕМ НЕТ. Сервер БД. Как хошь так и воспринимай...
есть например всякие кластеры, автоматическое перераспределение данных, их зеркалирование и т.д..
есть собственно SQL или наоборот NoSQL бд - свои замороты.


нагрузившись всем этим = железо, софт, перспективы, нагрузка, что пишем, для кого пишем и делается подобные решения.

удачи вам
(круглый)
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674901
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kolobok0например на серваках типа AS400 - вообще нет понятия ФАЙЛ или ФС от слова СОВСЕМ НЕТ.
- наверное перепутали AS/400 и OS/400?
OS/400 has multiple file systems. To help integrate these multiple file systems with the PC environment, the Integrated File System, or IFS, was created. The Integrated File System is a part of OS/400 that lets you support stream input/output and storage management in a way similar to personal computer and UNIX operating systems, while providing you with an integrating structure over all information stored in the AS/400. It allows for UNIX-style directories and file names. It has a root / directory and multiple levels of directories. It is identical in architecture to a PC file system except that it uses the forward slash as a delimiter ( / ) instead of the backslash ( \ )
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674919
kolobok0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Kachalov...наверное...

железка AS400. Ось OS400.

В чём путаность?
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674936
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Андрей Панфиловпока пользователь тянет файл он держит сессию в базе

"Держит сессию" - такая проблема мне вообще не понятна. СУБД для этого и созданы. Как только пользователь начинает работать, он что либо держит. Тут только одно решение - сослать всех пользователей на соловки. Нет пользователей - нет проблем )))

Андрей Панфиловт.е. ресурсы базы используем крайне неоптимально

Да. Стоимость хранения выше. Вопрос только в бюджете.

У нас файлы в системе биллинга хранятся, объем не знаю, подозреваю терабайты. Никого это не напрегает, даже админов ))), хотя они вечно на отсутствие места жалуются ))).

Андрей Панфиловчто делать в случае гео-распределенных пользователей вообще непонятно

Гео-распределенный, не гео-распределенный. Какая разница? Если есть нормальный канал связи.

Кроме того, вендоры СУБД вполне в гео-распределение ударились. Буковка "g" на конце Oracle'а - grid.

Андрей Панфиловили вы по ftp файлы собрались расшаривать?

В корпоративной сети - просто Windows шара ))) Какой такой ftp ? ))) В Энтерпрайз юзеры таких слов даже не знают )))

В ЦЕЛОМ:

Вопрос исключительно бюджета и функциональности. Хочется удобств "из коробки" - нужно платить. Хочется freeware - нужны прямые руки, умеющие владеть напильником.

Например ( http://www.kamis.ru/), хоть и не богатые пользователи, но сделав хранение в базе, от хранения на диске просто отказались. Т.к. переодически поднимаемые тучки стружки от напильника - сильно мешали жить. А при over 100 установок у заказчиков, разбираться почему в ФС какой-то мусор и откуда он взялся, нафиг не нужно.
(файлы - изображения высокого разрешения /например Музеи Кремля/, 10-50 Mb JTIP /Jpeg Tailed Piramidales/)

https://collectiononline.kreml.ru/iss2/items?info=63453&sa-fund=2766593
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39674955
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevБуковка "g" на конце Oracle'а - grid.это точно ))) +1
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675119
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kolobok0железка AS400. Ось OS400.
В чём путаность?
- железо про ФС ничего знать не должно, диски в AS/400 есть? а ФС это тема из ОС, в данном случае OS/400 (и, читая цитату, можно увидеть что представление ФС в традиционном *NIX виде, в это ОС есть)
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675120
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid KudryavtsevВопрос только в бюджете.
- вот за это не любят Java-программистов. Жалко что тень падает на всех.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675128
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
KachalovLeonid KudryavtsevВопрос только в бюджете.
- вот за это не любят Java-программистов. Жалко что тень падает на всех.
А при чем тут вообще Java ?

Есть сервер, куплен Oracle, ресурсы достаточные.... Вот нафига е....ть мозг себе, админам и начальству, пытаясь изобразить какой-то самопал на файлах, если все замечательно ложится в базу данных и никого не напрягает?

Вопрос цены он относительный. И для разных проектов/ситуаций совершенно различный.

Вот я в базе запросто могу 100500 записей в табличку заинсертить, а получить место на ФС - фиг Т.ч. если я пойду к начальству и скажу, мне надо 100 Gb места в базе - вопрос решится за 5 мин, админ просто посмотрит, есть оно или нет. А если захочу 100 Gb места в файловой системе - вопрос погрязнет в бюрократических процедурах на пару месяцев..... Дабы место на дисках (и бекапом) занимаются совершенно другие люди, которые за это могут чего-то захотеть ))) А уж каким образом к этим файлам на ФС мне открыть доступ (шара, ftp) - тут вообще будет тушите свет, т.к. еще и отдел безопасности может встрять.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675177
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А если не 100Гб, а 100Тб?
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675197
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HettА если не 100Гб, а 100Тб?
ну так мы приходим к тому, что если бы у бабушки.... и далее по заветам нашего президента )))

Тогда Oracle ExaData. Соберетесь покупать, я Вам продам ))) по крайне мере себе старость обеспечу )))

Как я понимаю, Exadata Database Machine X3-2 Full Rack включает 14 Storage Server, каждый по 12 дисков (168 дисков всего), если по 600 Gb .

14 x 12 x 600 = 100 800 Gb.

как раз хватит )))
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675229
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Товарищ верно заметил надо учесть фактор бюрократии. :)
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675251
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsevесли я пойду к начальству и скажу, мне надо 100 Gb места в базе - вопрос решится за 5 мин, админ просто посмотрит, есть оно или нет.а потом окажется надо ещё 400Gb для бэкапа.... и начальство будет радоваться.... и для бэкапа надо время серверу....
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675255
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Время сервера - не очень понятно. Они вообще-то в online обычно бекапируются. Только изменение (redo log'и)

p.s.
посмотрел статистику
2.5 GB LOB'ов
1.5 GB прочих
На резервные инстанцы и слепки (test), таблеспейс с LOB'ы не перетаскивают, там только чисто данные.
p.p.s.
это только одна из продакшен баз (но наверное самая важная), есть еще и парочка OeBS'ов
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675258
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В сети дисковая шара из 5 M$ DFS серверов - вот она __очень__ часто глючит. Когда на одном сервере файл обновился, а на другие сервера нифига ничего не зареплицировалось.

Пару месяцев назад, вообще приятно, дата/время/размер у всех файлов на всех серверах совпадает, но на 4-х серверах работает, а на одном - ошибка. Потом выяснилось, что Касперский помог, на одном из серверов под админскими правами одну из шар полечил ((( Мало того, что данные рассинхронизировались, но даже время/дата у попорченного файла (DLL) осталась прежней (а содержимое изменилось)
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675259
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsevпосмотрел статистику
2.5 GB LOB'ов
1.5 GB прочихэто мелочь, у меня база в zip >15 Gb...с файлам-картинками. как бы мало приятного.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675260
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
по мне так в случае чего при дисковой ошибке - дешевле потерять один или несколько файлов, чем эта ошибка повредит один большой файл бэкапа.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675261
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
у меня есть проект где файлы лежат отдельно - на рабочем сервере, для разработки мне не надо иметь у себя весь набор этих файлов, сама база не настолько велика чтоб её перенести было проблемно.
для клиентов мне не надо считывать файлы в память, сохранять на диск (в случае хранения в базе) я просто подцепляю ссылку и картинка отображается у клиента в браузере.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675263
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsevp.s.
посмотрел статистику
2.5 GB LOB'ов
1.5 GB прочих
Ну и нафига я со своими 50Tb и пользователям от Калининграда до Сахалина здесь вообще распинался?
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675299
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадяLeonid Kudryavtsevпосмотрел статистику
2.5 GB LOB'ов
1.5 GB прочихэто мелочь, у меня база в zip >15 Gb...с файлам-картинками. как бы мало приятного.
Мы толстые бэкапы баз архивировали в своё время WinRAR-ом в multivolume, с кодами восстановления.
Это здорово помогало когда в середике "битый" архив попадался.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675328
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonМы толстые бэкапы баз архивировали в своё время WinRAR-ом в multivolume, с кодами восстановления.
Это здорово помогало когда в середике "битый" архив попадался.сделать бэкап и ещё архивировать....
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675476
Kachalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675691
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадяLeonid Kudryavtsevпосмотрел статистику
2.5 GB LOB'ов
1.5 GB прочихэто мелочь, у меня база в zip >15 Gb...с файлам-картинками. как бы мало приятного.
опечатка. Разумеется Tb. На 3 порядка ошибся.
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675729
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsevопечатка)))))
...
Рейтинг: 0 / 0
Хранение файлов в бд или в файловой системе?
    #39675851
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадяmaytonМы толстые бэкапы баз архивировали в своё время WinRAR-ом в multivolume, с кодами восстановления.
Это здорово помогало когда в середике "битый" архив попадался.сделать бэкап и ещё архивировать....
Oracle 9i для windows. Мы мигрировали большой объем в новый датацентр. Штатная утилита не добавляла кодов хемминга поэтому мы приспособили winrar с кучей опций.
...
Рейтинг: 0 / 0
61 сообщений из 61, показаны все 3 страниц
Форумы / Java [игнор отключен] [закрыт для гостей] / Хранение файлов в бд или в файловой системе?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]