Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Хранение большого количества мелкий файлов / 25 сообщений из 25, страница 1 из 1
27.11.2013, 11:23
    #38479457
Devider
Devider
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Добрый день.

Есть необходимость хранить большие объемы файлов (картинок) размером до 100 kb из ограниченного (до тысяч) списка источников. Источники объединяются в группы. Файлы привязаны ко времени занесения в базу. Выбираться данные будут по источнику за указанный период. Посоветуйте плз, как организовать это хозяйство. Рабочая версия - кассандра, но картина в голове не выстраивается.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.11.2013, 13:55
    #38479849
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Загружай картинки в BLOBы.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.11.2013, 16:07
    #38480168
Devider
Devider
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Блобы в смысле в обычной таблице РСУБД?
Этих блобов может быть достаточно много. Теоретически рост может быть десятки мегабайт в секунду. И соотношение записи к чтению я вижу порядка 90/10, а то и больше. Честно говоря, до сих пор использовал БД "традиционным" способов и не набивал их так бинарями. Не очень себе представляю, как она себя поведет.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.11.2013, 16:13
    #38480174
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
DeviderЭтих блобов может быть достаточно много. Теоретически рост может быть
десятки мегабайт в секунду.
Хреновая у тебя теория. На десятки мегабайт в секунду не хватит пропускной способности сети.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.11.2013, 20:26
    #38480650
sphinx_mv
sphinx_mv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Dimitry SibiryakovDeviderЭтих блобов может быть достаточно много. Теоретически рост может быть
десятки мегабайт в секунду.
Хреновая у тебя теория. На десятки мегабайт в секунду не хватит пропускной способности сети.
Уж кто бы говорил!
В-обсчем, учись, студент:
wide area networks bitrate
local area networks bitrate
wireless networks bitrate
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.11.2013, 20:47
    #38480671
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
sphinx_mvВ-обсчем, учись, студент:
Ты эта... Начни уже отличать мегабиты от мегабайтов.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.11.2013, 23:05
    #38480825
sphinx_mv
sphinx_mv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Dimitry Sibiryakovsphinx_mvВ-обсчем, учись, студент:
Ты эта... Начни уже отличать мегабиты от мегабайтов.
Маразм крепчает?
А просто поделить (на калькуляторе, если по другому не получается) 100, ладно... пусть не 100, а хотя бы 80 мегабит в секунду ( "fast ethernet" , который 100BASE-TX, 1995 год) на 8 бит (которые в одном байте) не судьба? А еще бывает и 1000 мегабит в секунду ( gigabit ethernet , 1998 год)... И это - далеко не самые большие цифры даже для "ширпотреба".

Кстати, если кто-то почему-то "не заметил" - в табличках по ранее приведенной ссылке даже есть колонка "байты в секунду"...

В-обсчем, скромные "десятки мегабайт в секунду", о которых упоминал ТС, совершенно не представляют собой проблемы пропускной способности даже для сети, построенной на технолоиях прошлого века...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.11.2013, 23:22
    #38480843
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
sphinx_mvА просто поделить (на калькуляторе, если по другому не получается) 100,
ладно... пусть не 100, а хотя бы 80 мегабит в секунду ("fast ethernet", который
100BASE-TX, 1995 год) на 8 бит (которые в одном байте) не судьба?
Не судьба. Потому что некоторые (в отличии от...) знают не только число бит в байте, но и
другие обстоятельства, делающие жизнь совсем не так радужной.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.11.2013, 23:58
    #38480878
ScareCrow
ScareCrow
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
авторВ-обсчем, скромные "десятки мегабайт в секунду", о которых упоминал ТС, совершенно не представляют собой проблемы пропускной способности даже для сети, построенной на технолоиях прошлого века...
вопрос на засыпку 100 мегабил локальная сеть это сколько мегабайт?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.11.2013, 23:59
    #38480881
Зайцев Фёдор
Зайцев Фёдор
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Dimitry Sibiryakovдругие обстоятельства, делающие жизнь совсем не так радужной.
Погода неважнецкая, Валя из бухгалтерии отшивает, и т.д. - всё это действительно бывает.
Но как это ограничивает возможности сети? Или речь идёт о какой-то конкретной сети?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.11.2013, 00:08
    #38480898
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Зайцев Фёдоркак это ограничивает возможности сети?
Данные в БД передаются не на Ethernet уровне.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.11.2013, 00:13
    #38480902
sphinx_mv
sphinx_mv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Dimitry Sibiryakovsphinx_mvА просто поделить (на калькуляторе, если по другому не получается) 100,
ладно... пусть не 100, а хотя бы 80 мегабит в секунду ("fast ethernet", который
100BASE-TX, 1995 год) на 8 бит (которые в одном байте) не судьба?
Не судьба. Потому что некоторые (в отличии от...) знают не только число бит в байте, но и
другие обстоятельства, делающие жизнь совсем не так радужной.
К пропускной способности сети эти "нерадужные обстоятельства" не имеют практически никакого отношения - до "вообще" включительно!

Напоминаю: про "проблемы" с передачей больших объемов "разнокалиберной" информации Вы пытаетесь рассказывать очень близко с этим связанному сотруднику телекоммуникационной компании. А у нас (даже без использования колокэйшена) клиенту в-легкую предоставляют пару сотен реальных мегабит в секунду между удаленными офисами даже не в пределах одного города. Чем клиент это "наполнит" - проблема клиента. А от нас должен быть предоставлен стабильный канал, в котором биты и байты связаны простым математическим соотношением "8-к-1". Вот такая у нас "радужная реальность", однако. :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.11.2013, 00:23
    #38480912
Зайцев Фёдор
Зайцев Фёдор
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Dimitry SibiryakovЗайцев Фёдоркак это ограничивает возможности сети?
Данные в БД передаются не на Ethernet уровне.
И это полностью исключает любую возможность передавать десятки мегабайт в секунду? 5 десятков - это десятки?
Народный суд запретил ТС использовать несколько сетевых интерфейсов?

Я не понимаю.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.11.2013, 00:34
    #38480923
sphinx_mv
sphinx_mv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Dimitry SibiryakovЗайцев Фёдоркак это ограничивает возможности сети?
Данные в БД передаются не на Ethernet уровне.
Поставить дисковую систему по-шустрее, не пробовали? Процессор более адекватный? Оперативной памяти достаточно? А операционную систему тюнить?

ЗЫ. И как интересно стрелочки переехали с пропускной способности сети на производительность всего сервера "в сборе"...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.11.2013, 00:39
    #38480927
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Зайцев ФёдорИ это полностью исключает любую возможность передавать десятки мегабайт
в секунду? 5 десятков - это десятки?
Десятки, десятки. Вот только для этих десятков нужен гигабитный Ethernet и протокол уровня
приложения сильно плотнее чем SMB, поскольку SMB на гигабите даёт только порядка 30
мегабайт в секунду. А протоколы СУБД обычно ещё менее эффективны из-за привычки к полному
квитированию.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.11.2013, 01:40
    #38480960
Зайцев Фёдор
Зайцев Фёдор
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Dimitry Sibiryakov
 
это всё понятноДесятки, десятки. Вот только для этих десятков нужен гигабитный Ethernet и протокол уровня
приложения сильно плотнее чем SMB, поскольку SMB на гигабите даёт только порядка 30
мегабайт в секунду. А протоколы СУБД обычно ещё менее эффективны из-за привычки к полному
квитированию.

, но я только что получил 45 Мб/сек. mssql server 2008, AMD A4 3400, 9999 файлов по 166Кб
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.11.2013, 02:03
    #38480972
Зайцев Фёдор
Зайцев Фёдор
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Dimitry Sibiryakovпоскольку SMB на гигабите даёт только порядка 30 мегабайт в секунду
У меня не получается копировать файлы медленее, чем 90 Мб/сек. Надеюсь, это не признак неисправности, т.к. гарантия уже закончилась )
Получается, либо я копирую по какому-то другому протоколу, либо утверждение "...SMB на гигабите..." противоречит действительности
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.11.2013, 12:36
    #38481537
Аноним321
Аноним321
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Зайцев Фёдор, 90 Мбит/c ~ 11 МегаБайт/c гордится нечем.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.11.2013, 12:45
    #38481567
Зайцев Фёдор
Зайцев Фёдор
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Аноним321Зайцев Фёдор, 90 Мбит/c ~ 11 МегаБайт/c гордится нечем.
90 МБ, доволен? забыл как правильно пишется единица )
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.12.2013, 16:49
    #38485082
Leonid Kudryavtsev
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Два вопроса:
1. А у меня копирование по сети выдало 112 MB в секунду (счетчик в FAR'е). Кто больше?
2. Какое это имеет отношение к вопросу автора?

Devider....Честно говоря, до сих пор использовал БД "традиционным" способов и не набивал их так бинарями. Не очень себе представляю, как она себя поведет.
А какие проблемы? Информация она и есть информация.

Единственное, я когда проектировал табличку с блобами складывал в отдельный tablespace и блобы хранил отдельно от данных. См. доку БД. "Как поведет" и скорость на конкретной СУБД и конкретном железе нужно наверное банально мерить. Особенно, если есть понимание о характере нагрузки.

Соглашусь с Dimitry Sibiryakov, 10 мегабайт в секунду рост БД IMHO не мало - 10 МБ в сек, это 36 Gb в час, 288 Gb за 8 часовой рабочий день.... ))) Куда Вы это складывать планируете? Плюс еще redo-log'ов (в случае Oracle) не меньше (если не больше) будет создаваться.

Достоинства - транзакции, поиск по индексам, надежность.

Нет проблемы, что при каких либо падениях софта, останутся временные файлы на сервере, не подключенные к БД. Пока в нашей системе информация хранилась как файл + ссылка из БД - в реальных системах, которые работали годами, всегда были проблемы: часть файлов отсутствует, какие-то левые файлы и целые директории и т.д. Не критично конечно, но и не особо приятно. В БД транзакционность и таких проблем не может/не должно быть. Плюс залезть шаловливыми ручками и что-то удалить - тяжелее.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.12.2013, 20:34
    #38485242
AAron
AAron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
а точно нужна СУБД?
может нужен высокопроизводительный NAS? с подключением к серверу 10GB.

у нас немного другая задача - генерация отчетов для массы заказчиков в pdf и html. раскладываем по файлам. ориентировочно - 15-20млн файлов. скорость выдачи

и еще по пропускной способности - Exadata, общение между ячейками до 80mbs по infiniband'у.


так что... вопрос системной архитектуры...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.12.2013, 20:37
    #38485244
Alexander Ryndin
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
AAronи еще по пропускной способности - Exadata, общение между ячейками до 80mbs по infiniband'у.
до 80 gbs?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.12.2013, 20:51
    #38485250
AAron
AAron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
AAron,

скорость выдачи - не дописал. количество пользователей - 200тыс+, одновременно использующих отчеты - 2-3 тыс.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.12.2013, 20:03
    #38487993
AAron
AAron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Alexander Ryndin,

конечно ;))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.01.2014, 16:09
    #38534546
Dima T
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Хранение большого количества мелкий файлов
Elliptics как раз для таких целей придумано. Яндекс его пользует
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Хранение большого количества мелкий файлов / 25 сообщений из 25, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 380ms
Закрыть
start [/forum/topic.php?fid=35&mobile=1&tid=1552404]:
 0ms
get settings:
 11ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 43ms
get topic data:
 12ms
get forum data:
 2ms
get page messages:
 56ms
get tp. blocked users:
 2ms
others: 236ms
total:  380ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]