powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / BLOB или не BLOB? Вечный вопрос.
55 сообщений из 55, показаны все 3 страниц
BLOB или не BLOB? Вечный вопрос.
    #35928733
wild_boar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Выбор между хранением файлов в БД или файловой системе обсуждался не раз. Перечитав все, понял, что однозначного ответа на этот вопрос нет. Все зависит от поставленной задачи и технических возможностей. Есть ещё плюсы и минусы, между которыми разработчику приходится выбирать.
Не хочется призывать к дискуссии ещё раз, хочу показать конкретную задачу и конкретные тех. возможности.
Задача: Организация занимается проведением исследований. Исследования представляют собой набор количественных и качественных параметров, а так же набор входных, промежуточных и результирующих файлов. Необходимо организовать систему хранения исследований с возможностью поиска и выборки исследований по параметрам и оперативного доступа к файлам исследований. 1-я группа пользователей (диспетчера, 5 чел.) получают входные файлы от заказчика и распределяют их между пользователями 2-ой группы (обработчики, 95 чел.) Обработчики обрабатывают входные файлы, используя при этом результаты схожих исследований проведённых в прошлом. Полученные результаты(параметры и файлы) выкладывают в БД, откуда их достают диспетчера и передают заказчику. База будет постоянно расти, т.к. в любой момент может понадобиться исследование, проводимое 5 или даже 10 лет назад.
Объёмы: в день проводиться до 50 исследований, в год ~18000. Количество файлов: в день ~200, в год ~70000, размеры файлов 1-5Мб(95% случаев), 5-100Мб(5% случаев). За год база файлов будет расти ~200Gb. В перспективе перевалит за 1ТБ.
Режим работы базы: 12ч*7*365(Крулый год без выходных, но только в рабочее время. На ночь базу можно останавливать для санитарных работ)
Тех. возможности: 1)Сервер:HP ProLiant DL785 G5(8* Quad-Core AMD Opteron™ Processor 8384 (2.7 GHz, 75W ACP), 128 GB ОЗУ (здесь крутится математика для обработки исследований, не хотелось бы загружать его базой более чем на 10-15%)
2) Дисковый массив (Raid5) на FC-контроллере - 5ТБ
3)Имеется софт и железо для полноценных бекапов файловых систем на ленты LTO-3

Так BLOB или не BLOB?
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35928949
Фотография Mr Marmelad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wild_boar
Так BLOB или не BLOB?

Ввиду того что Ваш бизнес - хранилище {поиск и загрузка} (мало удалений или исправлений) как я понимаю - храните всё в BLOB - эксплуатационно так проще. И Какую базу присматриваете если не секрет?
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35929041
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> однозначного ответа на этот вопрос нет

Видимо, не все прочли, если остались вопросы.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35929189
wild_boar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mr Marmelad
Ввиду того что Ваш бизнес - хранилище {поиск и загрузка} (мало удалений или исправлений) как я понимаю - храните всё в BLOB - эксплуатационно так проще. И Какую базу присматриваете если не секрет?
Меня как раз волнуют проблемы эксплуатации при хранении в blob-ах. Нужен ежедневный бэкап. Как грамотно бэкапить терабайтную таблицу с blob-ами? Дробить её по годам, или даже по месяцам? Не скажется ли это отрицательно на производительности? А файловую систему можно бэкапить инкриментально, пока база остановлена - быстро и бэкапы небольшого объема.
Базу присматриваю PostgreSQL - бесплатна и по функционалу достаточна для поставленной задачи. Клиентскую часть хочу писать на Delphi с использованием PgDAC - недорого и быстро.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35929259
Senya_L
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wild_boarКак грамотно бэкапить терабайтную таблицу с blob-ами?А в PostgreSQL нет инкрементного бакапа?
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35929271
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> Меня как раз волнуют проблемы эксплуатации при хранении в blob-ах

Ага, значит, уже дочитали до конца. Это хорошо.

> Как грамотно бэкапить терабайтную таблицу с blob-ами?

Никак, разумеется. А если у Вас, дружище, еще и несколько версий одного файла будет (а так оно и будет, потому что в постановке задаче ничего о контроле версий не сказано, а он таки понадобится), Вам очень скоро станет очень грустно.

> А файловую систему можно бэкапить инкриментально, пока база остановлена

ИнкрЕментально. От слова "инкремент", т. е. приращение.

Файловую систему можно бэкапить и при работающей базе. И файловых систем сильно больше, чем одна. И архивов, и хранилищ можно иметь любое количество. И протоколов для доступа к файлам - вагон и маленькая тележка.

> Клиентскую часть хочу писать на Delphi с использованием PgDAC - недорого и быстро.

Оно конечно. Возьмите нормальную СУБД (а PostgreSQL - это великолепная СУБД) и взгромоздите ее на форточки. Н-да...

Риторический вопрос: почему железки покупают охотно и помногу, а на разработчиках экономят?
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35929283
Senya_L
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
> Автор: guest_20040621
>
> Оно конечно. Возьмите нормальную СУБД (а PostgreSQL - это
> великолепная СУБД) и взгромоздите ее на форточки. Н-да...
>

ИМХО, Вы перегибаете. :) При описании СУБД ничего не было сказано, что будет
крутиться под Win.
Клиент? Да и шут с ним. Где хочет автор - там пусть и работает.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35929291
Фотография Mr Marmelad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
:А если у Вас, дружище, еще и несколько версий одного файла будет (а так оно и будет, потому что в постановке задаче ничего о контроле версий не сказано, а он таки понадобится), Вам очень скоро станет очень грустно.


Хранилище подразумевает поиск и загрузку - никаких версий (UPDATE) - я правильно понял?
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35929666
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> При описании СУБД ничего не было сказано, что будет крутиться под Win.

Дружище, "бэкапить файловую систему" говорит мне о том, что автор знает максимум об одной файловой системе. В противном случае был бы задан еще один вопрос: какая файловая система лучше подойдет для хранения n файлов размеров m мегабайт каждый [дополнительные условия], как надежнее дублировать хранилища и делать их резервные копии.

А еще контекст вопроса говорит мне о том, что автор не понимает назначения СУБД. В данном случае основная задача СУБД - отдать линк на файл, никакие другие задачи СУБД решать не должна.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35929979
Senya_L
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Перечитал название топика. Улыбнуло. :)
Обычно на такие вопросы кидают ссылку на статью один-в-один сопадающую по
названию:
http://research.microsoft.com/apps/pubs/default.aspx?id=64525

Кстати, автор. Хотя Вы и не ответили на мой вопрос. Я тут сам порылся в
документации к PostgreSQL и нашел ссылку
http://www.postgresql.org/docs/8.3/interactive/continuous-archiving.html
Так что инкрем е нтный бакап, я так понимаю есть.

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35930264
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> research.microsoft.com

Возьмите за правило: если где-то увидите "microsoft", бегите оттуда, как черт от ладана. Единственное, что эти ребята умеют делать хорошо - это рисовать бабло. Ничего другого они делать не умеют. По определению.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35930362
Senya_L
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
> Автор: guest_20040621
> > research.microsoft.com
>
> Возьмите за правило: если где-то увидите "microsoft", бегите оттуда,
> как черт от ладана. Единственное, что эти ребята умеют делать хорошо - это
> рисовать бабло. Ничего другого они делать не умеют. По определению.
>

Ну это уже из области религии. Мне по долгу службы каждый день приходится
видеть это слово, т.к. MSSQL основной сервер. :)
Не бросать же работу?!

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35930406
Фотография ChA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
guest_20040621> research.microsoft.com

Возьмите за правило: если где-то увидите "microsoft", бегите оттуда, как черт от ладана. Единственное, что эти ребята умеют делать хорошо - это рисовать бабло. Ничего другого они делать не умеют. По определению.А остальные и этого не умеют, я правильно понял пафос ? Вы бы хоть авторов статьи посмотрели, "дружище"...
Может поделитесь с общественностью своими личными достижениями, если уж претендуете на роль гуру ? Или только так, дерьмом поплеваться ?
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35930531
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> А остальные и этого не умеют, я правильно понял пафос ?

Нет, неправильно. Как раз остальные умеют.

> Вы бы хоть авторов статьи посмотрели

Уважаемый, все, что написано под лейблом "microsoft", внимания не заслуживает. Опять же по определению.

> поделитесь с общественностью своими личными достижениями

В смысле, много ли бабла я зарабатываю? Достаточно. Причем, достаточно и для того, чтобы не писать хрень за деньги. Ы?

Дружище, я редко отказываю себе в удовольствии ткнуть апологета мелкомягких носом в дерьмо. Просто потому, что imho статус должен соответствовать ощущениям. В том, что как правило это ограниченные малограмотные люди, моей вины нет.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35930666
wild_boar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Господа, не надо ссориться!

База будет работать под RedHat. Все клиенты - только под Windows(пользователи работают со спец. софтом, написанным под win, из которого через Windows API нужно будет выдёргивать параметры и записывать их в базу)
Mr Marmelad Хранилище подразумевает поиск и загрузку - никаких версий (UPDATE) - я правильно понял?
Да, версий файлов не будет. Перед загрузкой файл будет однозначно анализироваться, правильный он или нет для данной записи в базе.

guest_20040621 "бэкапить файловую систему" говорит мне о том, что автор знает максимум об одной файловой системе. В противном случае был бы задан еще один вопрос: какая файловая система лучше подойдет для хранения n файлов размеров m мегабайт каждый [дополнительные условия], как надежнее дублировать хранилища и делать их резервные копии.
/, /home, /tmp - я знаю, как минимум, о трёх файловых системах.:) А если серьёзно, следующий вопрос лучше поднимать, после того, как определюсь с первым, вдруг он вообще отпадет. А так на вскидку: ext3 на RAID 5 - будет надёжно и достаточно быстро, резервные копии - на ленты.
guest_20040621В данном случае основная задача СУБД - отдать линк на файл, никакие другие задачи СУБД решать не должна.
Ну там еще будут разнообразные ежемесячные и годовые отчёты, расчёт стоимости исследований, просмотр текущей загруженности обработчиков, наработка сотрудников и прочие мелочи.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35930667
Фотография ChA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
guest_20040621> А остальные и этого не умеют, я правильно понял пафос ?

Нет, неправильно. Как раз остальные умеют.Но только Microsoft на это не имеет права ? Потому что все остальные какают золотом, а MS - дерьмом ?

guest_20040621> Вы бы хоть авторов статьи посмотрели

Уважаемый, все, что написано под лейблом "microsoft", внимания не заслуживает. Опять же по определению.Это уже религия. По определению.

guest_20040621
> поделитесь с общественностью своими личными достижениями

В смысле, много ли бабла я зарабатываю? Достаточно. Причем, достаточно и для того, чтобы не писать хрень за деньги. Ы?Мне лично наплевать, сколько зарабатываете. Полагаю не так много, как бы хотелось. Но интересует, где результаты труда. Ы ?

С трудами Джима Грея знаком, а с трудами guest_20040621 как-то не складывается. Скромность мешает ?
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35930764
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> Скромность мешает ?

Лень.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35931259
Фотография Mr Marmelad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wild_boarБазу присматриваю PostgreSQL - бесплатна и по функционалу достаточна для поставленной задачи. Клиентскую часть хочу писать на Delphi с использованием PgDAC - недорого и быстро.

Коллега - Конечно вариантов реализации Вашей архитектуры много. Другое дело что Вы нацелились на достаточно долгий участок во временном интервале. А значит у Вас со временем начнётся эксплуатационный криз. Я бы на Вашем месте посмотрел получче на DB2 как хорошо зарекомендовавший себя плацдарм для больших проектов, ну или Oracle на крайний случай. Всё равно продёт время и Вам придётся переходить на профессиональную платформу. Тем более с хорошим железом на старте. Но это из области эксплуатации. А пока - пожалуй я поддержу вашу идею.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35931316
Senya_L
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ChAИли только так, дерьмом поплеваться ?Это невкусно и просто вредно для здоровья. И вреда больше себе, чем оппоненту. Кидаться! Кидаться надо
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35931794
Фотография Cat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
wild_boar Обработчики обрабатывают входные файлы, используя при этом результаты схожих исследований проведённых в прошлом. Полученные результаты(параметры и файлы)
А зачем вообще файлы храняться?
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35931908
wild_boar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mr MarmeladВсё равно продёт время и Вам придётся переходить на профессиональную платформу
Призадумался. Решил использовать вместо PgDAC UniDAC. По крайней мере можно менее безболезненно перейти на Oracle.
Cat2 А зачем вообще файлы храняться?
Мы занимаемся геофизическими исследованиями скважин. Наши заказчики - нефтяники. Результаты, полученные в процессе бурения скважины, очень полезны в процессе эксплуатации скважины. Скважина может быть законсервирована лет на 5-10, а потом, при расконсервации, нужны результаты исследований прошлых лет. Геофизика - наука абстрактная, часто при исследовании скважины нужно опираться на результаты исследований в географически расположенных по соседству скважинах, или схожих по параметрам. Да и заказчики часто теряют переданные им данные. Поэтому нужна база. Желательно вечная))

Так все таки, в моем конкретном случае, что более оптимально - хранить в базе файлы или ссылки?
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35931911
Фотография Mr Marmelad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Senya_L:Мне по долгу службы каждый день приходится видеть это слово, т.к. MSSQL основной сервер. :) Не бросать же работу?!

Не хочу подрывать шаткую платформу сложившегося равновесия просто взгляд со стороны... SUN Micro не разделяет воинственные религиозные взгляды некоторых нелюбителей мелкихмягких: Интересная новость... Значит в линейке И Windows и Solaris и Linux... Мудрое на мой взгляд решение...

Коллега Senya_L - работу ни в коем случае не бросайте - скоро Sun Microsoft Windows будет вполне либеральное решение :)
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35931916
Senya_L
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
> Автор: wild_boar
>
> Да и заказчики часто теряют переданные им данные. Поэтому нужна база.
> Желательно вечная))
> Так все таки, в моем конкретном случае, что более оптимально -
> хранить в базе файлы или ссылки?
>

Файлы они могут растерять, значит лучше в базе. :)

Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35931926
Фотография Mr Marmelad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wild_boarТак все таки, в моем конкретном случае, что более оптимально - хранить в базе файлы или ссылки?

Однозначно - БЛОБЫ - к тому времени когда понадобится их серъёзно использовать технология подтянется и бинарная обработка и анализ поиска станет вполне реальной. Это пока datamining ещё слаб и нет пока наработанных алгоритмов в Вашей деятельности. Поверьте мне Коллега - очень скоро все туда ринутся... Будут бурить и скважины и базы. Канечна многие скажут - потом зальём... ага ... как же... зальёшь...

Тем более слив как известно всегда дешевле залива... Вы же к нефти имеете отношение - Найти нужную область в уже залитой ёмкости и слить из нее нечто ведь проще чем залить всё и начать делать опять то же... - слив.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35932617
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wild_boarТак все таки, в моем конкретном случае, что более оптимально - хранить в базе файлы или ссылки?Ссылки.

В базе данные нужно хранить, если они там обрабатываются. Ну или хотя бы меняются - нужна атомарность, транзакции и всё такое.
В вашем случае есть только добавление новых данных.

Ещё базу удобнее бакапить как единственный объект; но у вас возникнут сложности из-за того, что база будет большая. Поверьте, террабайтную базу обслуживать трудновато, да и оборудование нужно приличное.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35933164
Фотография Сергей Васкецов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvgСсылки
+1.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35933263
Goffman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Смотря с какой стороны рассматривать,

Например мне, как разразботчику, проще хранить файлы и данные в одной системе, удобнее ими оперировать, исключена возможность появления мертвых ссылок и т.д., проблемы нагрузки на сервер и удобства бэкапа стоят у меня где то на втором плане.

Но наш администратор от такого решения, прямо скажем не в восторге, потому что производительность и удобство бэкапа для него как раз на первом плане, а до удобств разработки ему дела нет.

Потому единого мнения здесь быть не может
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35933317
Фотография Сергей Васкецов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GoffmanПотому единого мнения здесь быть не может
Очень даже может. Сравните стоимость разработки и стоимость дальнейшей поддержки. Вообще говорить не о чем.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35933367
Goffman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сергей Васкецов,

И что, иногда проще купить дополнительную железку, чем потом тра%%ся с неизвестно откуда взявшимися мертвыми ссылками.
Да и стоимость - вещь не такая неоднозначная, как вы думаете
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35933401
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> мне, как разразботчику, проще хранить файлы и данные в одной системе

На потолке спать не пробовали? Решите сразу кучу проблем.

> Потому единого мнения здесь быть не может

Именно. Для файлов существует файловая система. Единственный случай, когда файлы можно хранить в базе данных, это когда их много и они мелкие, т. е. файловые системы неэффективны. Во всех остальных случаях в базе данных хранят файлы только и исключительно имбецилы. Никаких других вариантов, обоснований, примеров, отмазок и пр. не существует. По определению. Это не нужно обсуждать, это нужно запомнить.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35933423
Фотография Сергей Васкецов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Goffmanчем потом тра%%ся с неизвестно откуда взявшимися мертвыми ссылками
Даю наводку: при известном радиусе кривизны рук мертвые ссылки с тем же успехом и исключительно внутри БД появляются. Не надо обосновывать кривые решения недостаточно квалифицированными кадрами. Все наоборот. Чем более правильное и простое решение, тем больше шансов, что и криворукие по нему успешно пройдут, если шаг вправо-влево будет караться расстрелом. Так что не стоит предлагать заведомо кривое решение для заведомо криворуких.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35933443
Goffman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
> На потолке спать не пробовали? Решите сразу кучу проблем.

Например?

> Единственный случай, когда файлы можно хранить в базе данных,
> это когда их много и они мелкие, т. е. файловые системы неэффективны.

Мелкие-крупные, какая разница, главное - система работает с приемлемой производительностью, остальные выкладки от лукавого
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35933460
Goffman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сергей Васкецов,

Если следовать вашей логике, то блобы придумали одни криворукие идиоты для других криворуких идиотов. Не могу с вами согласится
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35933465
Фотография Сергей Васкецов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GoffmanЕсли следовать вашей логике, то блобы придумали одни криворукие идиоты для других криворуких идиотов. Не могу с вами согласится
Тема идиотов и БЛОБов очень интересна, но вообще-то речь была о ссылках на файлы, а не о идиотах или БЛОБах.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35933489
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> Мелкие-крупные, какая разница

Вы напрасно получаете зарплату.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35933515
Goffman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сергей ВаскецовGoffmanЕсли следовать вашей логике, то блобы придумали одни криворукие идиоты для других криворуких идиотов. Не могу с вами согласится
Тема идиотов и БЛОБов очень интересна, но вообще-то речь была о ссылках на файлы, а не о идиотах или БЛОБах.
Вы сами подняли эту тему, назвав всех пользователей болбов заведомо криворукими.


> при известном радиусе кривизны рук мертвые ссылки
> с тем же успехом и исключительно внутри БД появляются.

это как так?
Если все FK стоят на своих местах, то такая возможсть исключена,
если есть обратный пример - приведите
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35933569
Фотография Сергей Васкецов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GoffmanВы сами подняли эту тему, назвав всех пользователей болбов заведомо криворукими.
Хм. Я бы для начала на Вашем месте научился понимать русский язык и не выдумывал за меня ничего. Начните свой мыслительный процесс с осознания того факта, что в сообщении, которому Вы аппелируете, вообще нет ни слова про БЛОБы и идиотов.

GoffmanЕсли все FK стоят на своих местах, то такая возможсть исключена
Убей FK - и получишь результат. Дал полномочия на убийство FK - считай, первый шаг уже сделан. Так что как ни старайся пыжиться - "кадры решают все".

Goffmanесли есть обратный пример - приведите
Зачем? Если файлы только добавляются, откуда возьмутся мертвые ссылки? Таки рекомендую освоить русский язык хотя бы на минимально достаточном уровне для общения по теме.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35934020
Фотография Mr Marmelad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvgЕщё базу удобнее бакапить как единственный объект;

Коллеги, Это ещё одна религиозная война с пеной у рта и дубинами против кирпичей - орудий пролетариата. Я постараюсь {ещё раз} объяснить свою точку зрения для данного конкретного случая - а вы - оппоненты - попробуйте без никаких клише объяснить мне дураку - в чём я не прав.

Initial REQ1. на сегодняшний день автору надо загружать систему будующего.
2. У него хорошее железо
3. У него архитектурно правильно подобранная перспектива
4. Данные не меняются
5. Чистой воды ХРАНИЛИЩЕ
6. Использование ХРАНИЛИЩА - анализ на временном интервале - РАСКОПКИ

Всё что ему СЕГОДНЯ надо - распределение своих BLOB на правильном уровне хранения. Размещать на файловой системе - на сегодня удобно - на временном интервале сплошные потери. Для анализа - абсолютно не эффективно. BLOB - такие же данные как и любые другие. Транзакции атомарность и всё такое - не касается ХРАНИЛИЩ. Террабайтная база на сегодня бэкапится десятками способов ранее никому не известных... Зачем заранее лепить прошлый век?

Автору надо прожить в реальном мире пару лет и сегодняшняя дискуссия просто забудется как страшный сон. Тогда придётся начать загрузку из файловой системы в Базу. Вот тут проблемы и начнуцца.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35934029
Фотография Mr Marmelad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот как расслабуха Вам статеечка как будут строицца детекторы лжи на основе BLOB

{из области фантастики}
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35934449
Goffman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хм. Я бы для начала на Вашем месте научился понимать русский язык и не выдумывал за меня ничего. Начните свой мыслительный процесс с осознания того факта, что в сообщении, которому Вы аппелируете, вообще нет ни слова про БЛОБы и идиотов.[/quot]

Сергей ВаскецовДаю наводку: при известном радиусе кривизны рук мертвые ссылки с тем же успехом и исключительно внутри БД появляются. Не надо обосновывать кривые решения недостаточно квалифицированными кадрами. Все наоборот. Чем более правильное и простое решение, тем больше шансов, что и криворукие по нему успешно пройдут, если шаг вправо-влево будет караться расстрелом. Так что не стоит предлагать заведомо кривое решение для заведомо криворуких.

Ну тогда выражайтесь яснее, что вы хотели сказать этим набором витееватых лозунгов.

Сергей Васкецов Убей FK - и получишь результат. Дал полномочия на убийство FK - считай, первый шаг уже сделан. Так что как ни старайся пыжиться - "кадры решают все".

А если дал полномочия на UPDATE, DELETE, DROP - считай сделаны последующие шаги, если так рассуждать можно вообще ничего не делать. Че пыжиться - ложись да помирай сразу.
Вопрос стоит не как проще разрушить, а как проще сделать.

Сергей Васкецов
Goffmanесли есть обратный пример - приведите
Зачем?

Ну да, конечно, если сказать нечего, проще всего закатив глаза, воскликнуть: "Зачем!?", снабдив сие восклицание каким то бредом про русский язык.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35934574
Goffman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
guest_20040621> Мелкие-крупные, какая разница

Вы напрасно получаете зарплату.

А вы дальше прочитали что написано, или у вас после "какая разница" глаза кровью налились?
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35934582
Фотография Mr Marmelad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Коллега Goffman я Вас убедительно прошу не разжигать страсти - ни к чему хорошему это обычно не приведёт. Всё равно будут ортодоксы с обеих сторон. Есть и экстремисты вечно забаненые или серые - не надо их трогать - будьте благоразумны. плиз
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35934667
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> А вы дальше прочитали что написано

Естественно. Ваше "какая разница" говорит мне о том, что Вам незнакомы проблемы, связанные с хранением файлов. Это во-первых. Во-вторых, Ваше "с приемлемой производительностью" говорит мне о том, что Вы не сталкивались с базами данных. Вообще. Я не знаю, чем Вы занимаетесь, но, коль скоро пытаетесь давать советы, значит, чувствуете себя квалифицированным разработчиком и - это предположение - зарабатываете деньги разработкой. Ну так запомните или запишите, что для базы данных не существует "с приемлемой производительностью". База данных - как правило - самое узкое место для любого приложения (на самом деле в настоящее время это уже не совсем так, но для контекста обсуждения это более чем справедливо). Т. е. фактически производительность приложения тупо упирается в iops дисковой. Понятно, да, почему хранение файлов без острой необходимости в базе данных противопоказано? Домашнее задание: построить тестовый стенд и измерить нагрузку на дисковую подсистему для двух случаев хранения файлов. Второе домашнее задание: доработать тестовый стенд так, чтобы файлы физически находились на другой машине (лучше даже и в другой подсети). Измерить нагрузку на дисковую подсистему аналогично предыдущему домашнему заданию. Ну, и, наконец, третье домашнее задание: добавить зеркало файлового архива, выключить два первых компьютера и измерить доступность сервиса для двух способов хранения файлов. После успешных испытаний результаты тестов - в студию.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35934676
rilio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вопрос автору: а будет ли предусмотрен какой-либо поиск по содержимому этих файлов? А, например, полнотекстовый с морфологией? Да на русском языке?
PostgreSQL, если не ошибаюсь, умеет это только для блобов. Oracle - и для внешних файлов тоже.
(если ошибаюсь, поправьте).

В целом, как Вы описали задачу, соглашусь с Mr Marmelad . В блобах будет удобнее.

PS: у меня сейчас два похожих проекта, где нужно хранить большое количество документов. Один - web-приложение, доступ к файлам нужен и помимо СУБД (так получилось). Храним ссылки.
В другом нужно постоянно делать "мобильные копии" базы, потом сложным образом синхронизировать. Храним в блобах.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35934684
Фотография Mr Marmelad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
наш оппонент остался жить в прошлом ХХ веке ... Надеюсь сегодняшние I/O проблемы легко разрешимы вот внимательным http://www.youtube.com/watch?v=Cg5Ep99kq_k
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35934692
rilio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
guest_20040621...проблемы, связанные с хранением файлов
А хранение именно _файлов_ - это что, обязательное требование? Клиенту надо хранить его _данные_, в т.ч. и неструктурированные. А уж файлы это будут, или, скажем, шмайлы - проблемы разработчика.
guest_20040621для базы данных не существует "с приемлемой производительностью"
Что там себе пожелает база данных - опять же не проблема клиента. Ему нужна именно "приемлемая производительность". Не выше и не ниже.
guest_20040621хранение файлов без острой необходимости в базе данных противопоказано А вот оценка остроты этой необходимости - как раз задача разработчика. IMHO, при прочих равных, хранение каких-либо данных БД вне самой БД без острой необходимости противопоказано :)
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35934701
Фотография Mr Marmelad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rilioIMHO, при прочих равных, хранение каких-либо данных БД вне самой БД без острой необходимости противопоказано :)

Совершенно с Вами согласен Коллега. Именно так и именно этими словами. Работал я над переводом одной такой системочки (из ХХ века) ... Честно скажу - врагу не пожелаю. Ворпос был раньше простой - выбора не было. Никакий BLOB десять лет назад никому и в голову не приходило хранить в базе. Просто не было таких возможностей. И как стало легче после их появления.... Но появилась другая проблема - проблема религии.. И Обычные доводы людей (в том числе и меня некоторое время назад) - Никаких BLOB!!! Хорошо что сейчас пересмотрел свои взгляды.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35934708
sp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Недочитал до конца - сил просто нету флеймы по всякому поводу читать - отличный компромис BLOB или файл - MSQL 2008 - filestream
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35934754
wild_boar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
rilioВопрос автору: а будет ли предусмотрен какой-либо поиск по содержимому этих файлов?
Поиск по содержимому ненужен. Хранимые файлы, по сути, представляют собой набор полей и их значений, но формат файлов специфичный, и значения этих полей можно выдернуть только через обрабатывающий софт или через Windows API. Я думаю, что лучше во время загрузки файла выдергивать из него в БД нужные для поиска поля. БД возрастет от этого не сильно, зато поиск будет эффективнее. Да и обрабатывающий софт может со временем измениться, а поля в БД останутся. Главное - достать файл из хранилища, а чем его потом читать - дело третье.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35935541
Фотография Сергей Васкецов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GoffmanНу тогда выражайтесь яснее, что вы хотели сказать этим набором витееватых лозунгов.
В "витиеватых лозунгах" ни слова нет про БЛОБы, и нужны они лишь для того, чтобы попытаться их понять, чтобы не выдумывать проблему там, где ее нет.

GoffmanВопрос стоит не как проще разрушить, а как проще сделать.
Именно что "как проще сделать". Вы же начинаете рассказывать сказку про белого бычка про какие-то мертвые ссылки, невесть откуда взявшиеся, с уверением, что если файлы будут в БЛОБах, это надежнее, так как мертвых ссылок почему-то не будет. Отвечаю еще раз для непонятливых. Будет. Потому что мертвые ссылки - это не проблема ссылок, это проблема приложения и его использования (разрешенного и не разрешенного). Если в приложении или в регламенте его использования есть ошибки - мертвые ссылки будут. Если дать лишние права - мертвые ссылки будут.

Goffmanпроще всего закатив глаза, воскликнуть: "Зачем!?"
Вы не поняли. Я не понимаю, зачем мне приводить обратные примеры для Вашего случая, если Вы сами должны его обосновывать и "рекламировать". Я лишь указал, что нет смысла выдумывать нечто, что не появится.

Mr MarmeladАвтору надо прожить в реальном мире пару лет и сегодняшняя дискуссия просто забудется как страшный сон. Тогда придётся начать загрузку из файловой системы в Базу. Вот тут проблемы и начнуцца.
1. Дешевый термоядерный синтез и полеты на Марс когда обещали? А в production новые технологии поступят еще через пару-тройку лет. Так что ждать у моря погоды можно вечно.
2. Какие проблемы? У меня в одной БД есть такая фича, как загрузка/выгрузка файлов в БД и из БД на диск. Потому что приложению (тем более нескольким разным одновременно) удобнее работать с нормальным файлом на диске, а не с его копией в TMP или вообще в датасете в памяти. А дампы проще таскать одним куском. Вы не поверите, но вообще никаких проблем нет в том, чтобы залить файлы с дисков в блобы.

rilioЕму нужна именно "приемлемая производительность".
Это напоминает разговоры студента "сдал - забыл". БД имеют свойство расти в размере и меняться в структуре. И "приемлемой" производительности в работе БД не бывает, так как через пару-тройку лет она станет неприемлемой. Впрочем, если Вам интересно вечно работать на подержке и переписывании БД - ради бога. Причем в данной ситуации речь даже не дет о том, чтобы вложить какие-то сверхособенные деньги в инфраструктуру. Речь идет просто о том, чтобы правильно продумать, а что будет, если 100 человек захотят утащить с сервера одновременно по гигабайту, и какая будет красота, если эти файлы будут физически на разных носителях. Вам заранее говорят очевидную вещь, что БД будет бутылочным горлышком, Вы же упорно говорите, что мы об этом знаем и это "приемлемо". Влаг в руки.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35935588
Фотография Сергей Васкецов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wild_boarПоиск по содержимому ненужен
Тем более, если файлы нужны только для архива - архив проще иметь на диске, а не в БД.

wild_boarЯ думаю, что лучше во время загрузки файла выдергивать из него в БД нужные для поиска поля
Именно что. Надо для работы 5 полей из файла - догрузили их. Еще понадобились 8 полей - еще догрузили. Просто ETL-ем берем конкретный архив (диски, ленты - неважно) и грузим в БД недостающую инфу.

wild_boarГлавное - достать файл из хранилища, а чем его потом читать - дело третье.
Главное - не совать пальцы в розетку. Перефразируя - не совать в БД что ни попадя. Надо для анализа 10 полей - их и суйте в БД. К чему класть файлы в БД, если по большей части сами посебе они не будут использоваться, а архивировать их придется на общих основаниях дампами на те же ленты или диски? Уж куда проще не выдумывать себе сложности. И не придется думать, как достать файл из хранилища, если он уже на диске.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35942281
dph
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dph
Гость
А в чем вообще проблема с использованием блобов в БД? Неоднократно использовал блобы в нагруженных БД, с активными операциями получения/вставки/обновления/замены.
Даже на ноутбуке на не оптимизированной DB2 легко получал сотню операций в секунду для блобов размером 10-100K. Дисковые операции с блобами весьма эффективны.

Вообще, а что, сложно прикинуть ТСО для обеих схем? Если посчитать, то хорошо заметно, что для большей части задач (включая текущую) блобы эффективнее файлов. Просто потому, что найти среднего DBA проще, нежели хорошего сисадмина.
А ведь еще бывают, например, задачи обеспечения High Availability или ограничения прав на доступ или эффективного LoadBalancing - которые на файловой системе решаются весьма неочевидными решениями.

Кстати, как предлагается решать задачу HA на файловой системе? А то, как я понял по задаче, в дневное время простой крайне не желателен.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35942290
Фотография Сергей Васкецов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dphПросто потому, что найти среднего DBA проще, нежели хорошего сисадмина.
А ведь еще бывают, например, задачи обеспечения High Availability или ограничения прав на доступ или эффективного LoadBalancing - которые на файловой системе решаются весьма неочевидными решениями.
Вы совершенно не в теме по всем пунктам.

dphКстати, как предлагается решать задачу HA на файловой системе?
Никак. Решение HA возможно на уровне раздачи правильных ссылок и делается в отличие от кластеров и иже с ними любым второкурсником.
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35943093
Фотография Mr Marmelad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таким образом Microsoft занимается этим Где то на 10-12 минуте начинается рассказ о том как Windows Azure хранит BLOB
...
Рейтинг: 0 / 0
BLOB или не BLOB? Вечный вопрос.
    #35943378
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dphА в чем вообще проблема с использованием блобов в БД? Неоднократно использовал блобы в нагруженных БД, с активными операциями получения/вставки/обновления/замены.Проблема в обслуживании и в боле едорогом железе. Сколько террабайт у вас были БД? Что сложнее обслуживать - рид-онли файловый сервер на 10 тб + субд 1 гб или субд 10 тб?

dphДаже на ноутбуке на не оптимизированной DB2 легко получал сотню операций в секунду для блобов размером 10-100K. Дисковые операции с блобами весьма эффективны.1 мб/сек - это ооочень медленно даже для ноутбука. 10 мб/сек тоже не фонтан.

dphВообще, а что, сложно прикинуть ТСО для обеих схем? Если посчитать, то хорошо заметно, что для большей части задач (включая текущую) блобы эффективнее файлов. Просто потому, что найти среднего DBA проще, нежели хорошего сисадмина.А вы реально подсчитайте, получится наоборот.

dphА ведь еще бывают, например, задачи обеспечения High Availability или ограничения прав на доступ или эффективного LoadBalancing - которые на файловой системе решаются весьма неочевидными решениями.

Кстати, как предлагается решать задачу HA на файловой системе? А то, как я понял по задаче, в дневное время простой крайне не желателен.Да элементарно - териториально ранесённое файловое хранилище с веб-серверами для доступа и каким-нибуть софтом для балансировки нагрузки может сделать не такой уж квалифицированный человек.
...
Рейтинг: 0 / 0
55 сообщений из 55, показаны все 3 страниц
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / BLOB или не BLOB? Вечный вопрос.
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]