ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Online-библиотека или подойдет ли PgСюкул?
25 сообщений из 65, страница 1 из 3
  1  все
Online-библиотека или подойдет ли PgСюкул?
    #34950575
bsdi4
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bsdi4
Гость
Всем привет) Ребят хотел с вами посоветоваться!

Задача достаточна тривиальна, создание проекта Online-библиотеки с хранением PDF и Djvu книг в базе, размер книг от 20 до 50 мб , количество книг 8000-1000 * на количество языков(3-5). Общий размер библиотеки 700Gb-1,5Tb.

Но есть одно не большое но, файлы самих книг должны лежать в базе!

Обычно, делал проще, в базе хранились в основном все описания привьюшки, ссылки на файлы и т.д.

Из все разнообразия свободных решений, выбор пал на: PgСюкул и Жар Псису)

А теперь сами вопросы:
1) Подойдет ли Pg для данного решения? Если, что то другое, то что?
2) Касаемо железа, интересует в первую очередь количество оперативки + дисковой подсистемы.
на данный момент в имею 2x2800(L2 512кб) Xeon, 4Gb оперативки и 6x160Gb Рапторов (SATA2 10000rpm 16mb кэша)
3) Производительность данного решения

Платформа: Linux гибрид(Crux и OWL)/ядрышко 2.4.35, Zeus Web Server 4.3, (PgSql/FB), ZendPlatform, Php 5.2.5, ZendOptimizer.
...
Рейтинг: 0 / 0
20.11.2007, 07:52
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34950578
bsdi4
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bsdi4
Гость
ой, нолик забыл))
* количество книг 8000-10000 ))
...
Рейтинг: 0 / 0
20.11.2007, 07:57
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34950615
Serik Akhmetov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Serik Akhmetov
Участник
Относитесь пожалуйста уважительно к программным продуктам, их разработчикам и пользователям.
Научитесь писать и произносить правильно названия и имена.
...
Рейтинг: 0 / 0
20.11.2007, 08:26
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34950696
bsdi4
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bsdi4
Гость
я ж шутя по доброму) не вижу в этом ничего оскарбительного)
лучше б написал, что-нибудь по теме...
...
Рейтинг: 0 / 0
20.11.2007, 09:32
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34950753
bsdi4
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bsdi4
Гость
Serik AkhmetovОтноситесь пожалуйста уважительно к программным продуктам, их разработчикам и пользователям.
Научитесь писать и произносить правильно названия и имена.

Прошу прощения у тех кому причинил моральный ущерб, шуточным(неправильным) написанием продуктов: PostgreSQL и Firebird.

О уважаемые гуру PostgreSQL, а теперь можно что-нибудь по делу?
...
Рейтинг: 0 / 0
20.11.2007, 09:54
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34950763
av1985
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
av1985
Гость
По теме: хранение файлов в базе - плохая идея. Этим думаю все сказано.
...
Рейтинг: 0 / 0
20.11.2007, 09:56
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34950816
st_serg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
st_serg
Участник
av1985По теме: хранение файлов в базе - плохая идея. Этим думаю все сказано.
это уже доказано? )
...
Рейтинг: 0 / 0
20.11.2007, 10:13
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34950883
bsdi4
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bsdi4
Гость
av1985По теме: хранение файлов в базе - плохая идея. Этим думаю все сказано.
Да понимаю что, идея не очень, раньше делал по другому смотри выше. Но задача есть задача и жопой вилять не приходится(

Поэтому пришел сюда, посоветоваться с людьми, которые крутили более или менее большой обьем бинарных данных для Web'a...

Ребят если можно, отвечать по конструктивней, потрепаться мы можем и в чате же...
Заранее прошу прощения, если кого обидел данной фразой!
...
Рейтинг: 0 / 0
20.11.2007, 10:30
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951200
Serik Akhmetov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Serik Akhmetov
Участник
bsdi41) Подойдет ли Pg для данного решения? Если, что то другое, то что?И PostgreSQL и Firebird нормально подойдут для хранения подобной информации.
В обоих СУБД можно извернуться, и хранить файлы на диске, а пользователю представлять их как BYTEA/BLOB, я бы выбрал этот вариант. Но можно хранить и в БД.
PostgreSQL лучше подходит для web-проектов, и считается более продвинутой СУБД. Но, по-моему, PostgreSQL vs Firebird - это вопрос религиозный, лучше взять то, что лучше знаешь. Или учитывать внешние факторы - поддержка целевой платформы, инструменты разработки, компоненты доступа и т.д.

bsdi4
2) Касаемо железа, интересует в первую очередь количество оперативки + дисковой подсистемы.
на данный момент в имею 2x2800(L2 512кб) Xeon, 4Gb оперативки и 6x160Gb Рапторов (SATA2 10000rpm 16mb кэша)
3) Производительность данного решения Я думаю здесь стоит указать кол-во клиентов, кол-во и характер запросов, требования к скорости передачи и т.д.
Учтите, что BYTEA передается по сети в виде ESC-последовательности, т.е. реальный трафик может быть в 4 раза больше переданного объема.
...
Рейтинг: 0 / 0
20.11.2007, 11:34
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951238
Shweik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shweik
Участник
Подойдет. Но хранить фалы в РДБ - бред тк такое поле - просто мёртвый балласт.
Функционал из ХП-шек работающих с ФС при разумном подходе вполне безопасен и быстр.
А база превращается просто в индекс.
А насчёт производительности "суппер-мегасервера" на который навесили httpd+modphp+postmaster...
- я лучше промолчу. Подобные решения дохли раньше и будут дохнуть.
...
Рейтинг: 0 / 0
20.11.2007, 11:41
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951255
Фотография pamir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pamir
Участник
av1985По теме: хранение файлов в базе - плохая идея. Этим думаю все сказано.Ой ли.
...
Рейтинг: 0 / 0
20.11.2007, 11:44
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951312
bsdi4
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bsdi4
Гость
Serik AkhmetovВ обоих СУБД можно извернуться, и хранить файлы на диске, а пользователю представлять их как BYTEA/BLOB
ну наконец пришли люди))
ты имеешь ввиду хранить адрес на существующий файл в в базе? а потом при запросе будет потсасываться файл, адрес которого будет выбираться из базы?
т.е так:
Serik Akhmetov
Обычно, делал проще, в базе хранились в основном все описания привьюшки, ссылки на файлы и т.д.

или ты имеешь ввиду, что другое?
...
Рейтинг: 0 / 0
20.11.2007, 11:55
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951321
bsdi4
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bsdi4
Гость
ОШИБСЯ СОРРИ))
*
bsdi4 Serik AkhmetovВ обоих СУБД можно извернуться, и хранить файлы на диске, а пользователю представлять их как BYTEA/BLOB
ну наконец пришли люди))
ты имеешь ввиду хранить адрес на существующий файл в в базе? а потом при запросе будет потсасываться файл, адрес которого будет выбираться из базы?
т.е так:
bsdi4
Обычно, делал проще, в базе хранились в основном все описания привьюшки, ссылки на файлы и т.д.

или ты имеешь ввиду, что другое?
...
Рейтинг: 0 / 0
20.11.2007, 11:57
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951352
bsdi4
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bsdi4
Гость
Shweik
А насчёт производительности "суппер-мегасервера" на который навесили httpd+modphp+postmaster...
- я лучше промолчу. Подобные решения дохли раньше и будут дохнуть.
Это ты про что???
причем тут httpd+modphp+postmaster ???
тут вообще только ZWS 4.3, PostgreSQL, Zend Platform и Zend Optimizer и больше ничего.
дабы не создавать большей нагрузи на диски, которой и так дофига будет...
...
Рейтинг: 0 / 0
20.11.2007, 12:04
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951424
bsdi4
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bsdi4
Гость
Все ребят пришел к выводу, что буду делать так, как делал раньше:
bsdi4
Обычно, делал проще, в базе хранились в основном все описания привьюшки, ссылки на файлы и т.д.

Большое вам спасибо за ответы, которые помогли окончательно прийти к данному решению.
Осталось дело за малым, убедить твердолобого барана))
...
Рейтинг: 0 / 0
20.11.2007, 12:20
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951498
Фотография pamir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pamir
Участник
bsdi4Все ребят пришел к выводу, что буду делать так, как делал раньше:
bsdi4
Обычно, делал проще, в базе хранились в основном все описания привьюшки, ссылки на файлы и т.д.

Большое вам спасибо за ответы, которые помогли окончательно прийти к данному решению.
Осталось дело за малым, убедить твердолобого барана))Никогда не случалось, что есть файл, а ссылки на него в базе нет. Или наоборот, ссылка есть, а файла в ФС нету? А?
...
Рейтинг: 0 / 0
20.11.2007, 12:35
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951616
bsdi4
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bsdi4
Гость
pamir
Никогда не случалось, что есть файл, а ссылки на него в базе нет. Или наоборот, ссылка есть, а файла в ФС нету? А?

Да я на этот счет уже думал много раз, и самому это не нравится((
Хочется целостности полной на уровне БД.
Ведь файлик не в базе, а на ФС, прийдестя писать дополнительные условия в сценарии ((

Если есть варианты, которые более или менее оптимальны, поделись плиз.
...
Рейтинг: 0 / 0
20.11.2007, 13:01
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951623
Serik Akhmetov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Serik Akhmetov
Участник
pamirНикогда не случалось, что есть файл, а ссылки на него в базе нет. Или наоборот, ссылка есть, а файла в ФС нету? А?Это вопрос организационный, куда денется файл, если доступ к нему только у пользователя postgres ? Или куда денется строчка из БД, если есть триггер before delete ? Я в файлы в ФС добавляю свой заголовок: имя файла, id, owner и т.д. Но сейчас думаю, что это лишнее.
...
Рейтинг: 0 / 0
20.11.2007, 13:02
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951759
Фотография pamir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pamir
Участник
Serik Akhmetov pamirНикогда не случалось, что есть файл, а ссылки на него в базе нет. Или наоборот, ссылка есть, а файла в ФС нету? А?Это вопрос организационный, куда денется файл, если доступ к нему только у пользователя postgres ? Или куда денется строчка из БД, если есть триггер before delete ? Я в файлы в ФС добавляю свой заголовок: имя файла, id, owner и т.д. Но сейчас думаю, что это лишнее.Ну как куда.
Решает админ удалить файл. Что для этого должно произойти? Должна удалиться строка из базы и файл из ФС. Это всё уже не транзакционно - может произойти сбой при удалении строки, а файл удалится. Или наоборот - строка удалится, а файл сбойнет. Ты же не можешь обернуть одной транзакцией работу с БД и с ФС. Если только подпоры ставить.
Тоже и при создании - строка создалась, а файл не сохранился (место на диске кончилось). Или наоборот - файл сохранился, а коммит в базе не прошел...

Транзакции - великая вещь.
...
Рейтинг: 0 / 0
20.11.2007, 13:32
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951896
Shweik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shweik
Участник
имхо грош цена функции которая вернет ссылку на залитый файл когда место на диске закончилось.
...
Рейтинг: 0 / 0
20.11.2007, 14:03
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951945
Serik Akhmetov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Serik Akhmetov
Участник
плюсы и минусы есть в обоих случаях,
если рассматривать крайние случаи - сбой железа, админ сошел с ума и т.д.
потерять данные можно и так и так...
...
Рейтинг: 0 / 0
20.11.2007, 14:12
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34951957
Фотография pamir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pamir
Участник
Serik Akhmetovплюсы и минусы есть в обоих случаях,
если рассматривать крайние случаи - сбой железа, админ сошел с ума и т.д.
потерять данные можно и так и так...Ну понятно - транзакции придумали просто так.
...
Рейтинг: 0 / 0
20.11.2007, 14:14
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34952302
Andrey Daeron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andrey Daeron
Участник
У меня лежат в БД каринки (скриншоты). И ничего. Просмотр - работает. Пипец возникает при VACUUM всяких и прочих обновлениях/удалениях на этой таблице. Реальный такой пипец. Правда на "детских" серверах по типу 1.6П4+ATA100 винты без рейдов. Удаление кучки записей приводит к их проходу через WAL, что на больших объёмах тяжко. Для селектов - всё хорошо.
Правда система у меня не WEB, а очень даже Client-Server.

ЗЫ Кроме около-религиозных соображений должно/недолжно лежать в БД, чего-то никакой конкретики.

авторА теперь сами вопросы:
1) Подойдет ли Pg для данного решения? Если, что то другое, то что?
2) Касаемо железа, интересует в первую очередь количество оперативки + дисковой подсистемы.
на данный момент в имею 2x2800(L2 512кб) Xeon, 4Gb оперативки и 6x160Gb Рапторов (SATA2 10000rpm 16mb кэша)
3) Производительность данного решения
1. Подойдёт как и любая другая СУБД, поддерживающая Блобы.
2. Это зависит от нагрузки на сервер, от харрактера запросов и т.д.
А рапторы в RAID0? ;) Или как?
3. Производительность - 2 кг/сек :)

ЗЗЫ Мне думается, что всё будет зависить от Вашей организации того как это будет работать. Я не сильно знаком с тонкостями веб систем - но думаю, что есть два варианта, например отдавания файлов - как поток - напрямую из запроса, или выгрузить блоб в файл, а дальше отдавать ссылку на файл. Думаеццо, что производительность будет разной.
...
Рейтинг: 0 / 0
20.11.2007, 15:20
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34953457
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
bsdi4 пишет:

> я ж шутя по доброму) не вижу в этом ничего оскарбительного)
> лучше б написал, что-нибудь по теме...

На самом деле правильное замечание. Дело даже не
в оскорблении - твои "шуточки" пока люди "расшифруют" --
ты же сам помощи и не получишь.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
20.11.2007, 20:19
| Ответить | Цитировать | Написать  
Online-библиотека или подойдет ли PgСюкул?
    #34953463
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
bsdi4 пишет:
> Никогда не случалось, что есть файл, а ссылки на него в базе нет. Или наоборот, ссылка есть, а файла в ФС нету? А?

.... или ФС сдохнет от обильного количества файлов.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
20.11.2007, 20:23
| Ответить | Цитировать | Написать  
25 сообщений из 65, страница 1 из 3
  1  все
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Online-библиотека или подойдет ли PgСюкул?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]