Гость
Форумы / Hardware [игнор отключен] [закрыт для гостей] / Большое локальное файловое хранилище / 17 сообщений из 17, страница 1 из 1
23.09.2013, 11:37
    #38404477
Last1Cmen
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
Есть задача организации файлового хранилища для архивов видеонаблюдения.
Расчетное количество архивов - 1000, каждый по 1Тб
Для доступа туда будет организована локальная сеть.
Виртуализация, ftp и т.д. не нужны, это просто большой мусорник

Что можно попробовать и сколько это будет стоить?
...
Рейтинг: 0 / 0
23.09.2013, 12:44
    #38404540
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
тут есть описание, как такое делается

http://www.thecus.ru/articles/?solution=17
...
Рейтинг: 0 / 0
23.09.2013, 12:51
    #38404552
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
Сильно зависит от желаемой надежности и прочих требований.
Некоторые делают так:
rulib2012.narod.ru/article03.html
chipxp.ru/index.php?newsid=46735
...
Рейтинг: 0 / 0
23.09.2013, 13:21
    #38404602
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
Еще тут картинки есть заманчивые:
http://thecus.ru/7/?ptype=3&item=67

Подозреваю, что у других производителей серверов и сетевых хранилищ тоже есть такие картинки...
...
Рейтинг: 0 / 0
23.09.2013, 13:24
    #38404606
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
Хотя, имхо, это уже тот объем, который пора делать на лентах. Время смены кассеты уже все равно невелико по сравнению со временем копирования одного файла (1ТБ - это десятки минут на 10GBE).
...
Рейтинг: 0 / 0
23.09.2013, 16:15
    #38404884
Last1Cmen
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
miksoftХотя, имхо, это уже тот объем, который пора делать на лентах. Время смены кассеты уже все равно невелико по сравнению со временем копирования одного файла (1ТБ - это десятки минут на 10GBE).

дело в том что с ним будут работать, пусть немного (десятка два активных подключений в режиме потокового сжатого видеострима) но это оперативная работа
а кассеты дело хорошее но время на разворачивание архива тратить не хотелось бы
...
Рейтинг: 0 / 0
23.09.2013, 16:18
    #38404890
Last1Cmen
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
ну вот решения типа такого
схд и таких 5 штук надо получается плюс сетевое оборудование их связать

дороговато как-то :(
...
Рейтинг: 0 / 0
23.09.2013, 19:43
    #38405153
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
Last1Cmenдело в том что с ним будут работать, пусть немного (десятка два активных подключений в режиме потокового сжатого видеострима) но это оперативная работаВот про это поподробнее, плиз. Что подразумевается под "работать" и "оперативная работа" ?
...
Рейтинг: 0 / 0
23.09.2013, 20:28
    #38405211
rahzer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
Есть решения, но дорогие..
У IBM есть решения с СХД в совокупности с кассетами, такой программно-аппаратный комплекс, где данные хранятся по многоуровневому хранению, а для пользователя это выглядит просто как файловая шара, при этом данные, в зависимости от количества обращений хранятся на устройствах разного быстродействия..
У ЕМС есть Isilon
но оба решения очень индивидуальны и начнутся от 7 лямов очень грубо.
СХД лоу энда - это примерно поддержка 130 дисков, пусть по 4ТБ - дальше сами считайте, но в случае сбоя - это пздц, поэтому никто на таком не строит, хотя это будет и дешевле, ляма в 3..Но и риск выше..
...
Рейтинг: 0 / 0
24.09.2013, 21:16
    #38406600
Last1Cmen
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
miksoftLast1Cmenдело в том что с ним будут работать, пусть немного (десятка два активных подключений в режиме потокового сжатого видеострима) но это оперативная работаВот про это поподробнее, плиз. Что подразумевается под "работать" и "оперативная работа" ?

Основная задача для чего вообще это дело строится это работа пары десятков операторов видеонаблюдения.
Т.е. в это хранилище сливается (как именно не суть важно) информация с накопителей (видеорегистраторов) а операторы должны обрабатывать эту информацию путем подключения своих просмотрщиков клиентских к этому самому хранилищу. По сути они будут постоянно смотреть "кинушку" (файлы видеоизображения сжатые mpeg/avi) в пару десятков потоков по разным архивам (архив - просто большой набор небольших видеофайлов).
Так вот выдержит ли хранилище (да и вообще возможна ли такая работа без буферного перелива с кассет на ЖД перед просмотром) такую работу если будет организовано на ленточных накопителях ?
Я с ними сталкивался последний раз лет 10-15 тому назад и осталось стойкое впечатление того что они по сути своей не предназначены ни для чего кроме как ОДИН (ну скажем так пару-тройку циклов чтения записи) РАЗ из копии восстановить ЦЕЛИКОМ или ЦЕЛЬНЫМИ БЛОКАМИ то что туда было записано, т.е. ни о какой оперативной работе (с произвольным обращением к записанным мелким файлам) речи идти не может
...
Рейтинг: 0 / 0
24.09.2013, 23:31
    #38406654
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
Last1CmenТак вот выдержит ли хранилище (да и вообще возможна ли такая работа без буферного перелива с кассет на ЖД перед просмотром) такую работу если будет организовано на ленточных накопителях ?Естественно, для оперативной работы нужно хранить на дисках, никаких кассет.
...
Рейтинг: 0 / 0
24.09.2013, 23:41
    #38406662
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
Last1Cmen,

А каков минимальный/максимальный временной разрыв между "в это хранилище сливается" и "операторы должны обрабатывать" ?
Если этот разрыв небольшой, то можно данные за этот интервал времени держать на файловом сервере, а после "просмотра" уже переносить их на кассеты.
Если же этот разрыв очень велик (например, год или несколько), то, наоборот, сперва писать данные на кассеты, а перед приближением срока "просмотра" разворачивать их на дисках файлового сервера.

Мысль в том, что как-то странно постоянно крутить на шпинделях петабайт информации, из которого за сутки пригодится от силы тысячная часть.
...
Рейтинг: 0 / 0
25.09.2013, 10:30
    #38406881
Last1Cmen
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
А каков минимальный/максимальный временной разрыв между "в это хранилище сливается" и "операторы должны обрабатывать" ?
есть конечно желание день в день отрабатывать но мысля реалистично разрыв моет составлять и неделю... но не месяц или полгода точно (эту уже будет неактуально просто)

т.е. я так понимаю пока в мире ленточных накопителей ничего кардинально не изменилось и целится надо всё таки не на ленточные накопители ?


пс... досчитал бюджет и если организовывать "в лоб" (просто на суммарный 1Пб размер массивов) получилось под 160К у.е.
буду думать как оптимизировать... надо минимум вдвое/втрое сократить бюджет на железо :(
...
Рейтинг: 0 / 0
25.09.2013, 10:42
    #38406901
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
Last1CmenА каков минимальный/максимальный временной разрыв между "в это хранилище сливается" и "операторы должны обрабатывать" ?
есть конечно желание день в день отрабатывать но мысля реалистично разрыв моет составлять и неделю... но не месяц или полгода точно (эту уже будет неактуально просто)

т.е. я так понимаю пока в мире ленточных накопителей ничего кардинально не изменилось и целится надо всё таки не на ленточные накопители ?Не совсем понял, а что должно было измениться?
Насколько я понял, вам потенциально подходит вариант "данные за этот интервал времени держать на файловом сервере, а после "просмотра" уже переносить их на кассеты".


Last1Cmenпс... досчитал бюджет и если организовывать "в лоб" (просто на суммарный 1Пб размер массивов) получилось под 160К у.е.
буду думать как оптимизировать... надо минимум вдвое/втрое сократить бюджет на железо :(Еще вариант (точнее, версия предыдущего варианта) - оперативные файлы держать на файлов сервере, а "просмотренные" переносить на внешние HDD и убирать их в шкаф (т.е. не строить инфраструктуру для их подключения). Внешние HDD могут быть как в корпусе и с интерфейсом USB 3.0, так и напрямую SATA (существуют готовые кредлы для удобства подключения таких HDD). При необходимости повторного "просмотра" нужный HDD подключается к компу за минуту и сразу готов к "просмотру" произвольного фрагмента.
Дополнительный плюс - нет необходимости покупать всю массу сразу, можно разбить на несколько партий. Да и в случае выхода из строя замена проблемы не составит.
...
Рейтинг: 0 / 0
26.09.2013, 20:06
    #38408963
Last1Cmen
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
да согласен, была идея держать оперативный архив (т.е. тот с которым работают сейчас и гипотетически могут работать ближайшую скажем неделю) на одном массиве а хранить остальную очередь на внешних накопителях (возможно и ленточных)
надо будет логистику построить посмотреть что получится

недешевая штука в общем выходит я вам скажу :)
...
Рейтинг: 0 / 0
26.09.2013, 22:12
    #38409045
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
Last1Cmenнедешевая штука в общем выходит я вам скажу :)Ну так и задача не на пять копеек.
Если посчитать стоимость всего проекта - камеры, доставка "картинки", монтаж всего этого, рабочие места операторов, з/п операторов, сабжевое хранилище и т.д., и т.п., то доля самого хранилища выйдет, имхо, в размере единиц процентов даже если не слишком жаться.
...
Рейтинг: 0 / 0
04.10.2013, 01:27
    #38416246
Scott Tiger
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большое локальное файловое хранилище
Вот есть девайс забавный и недорогой, хотя в реале не видел - http://www.aberdeeninc.com/abcatg/petarack.htm
...
Рейтинг: 0 / 0
Форумы / Hardware [игнор отключен] [закрыт для гостей] / Большое локальное файловое хранилище / 17 сообщений из 17, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]