powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Hardware [игнор отключен] [закрыт для гостей] / Большое локальное файловое хранилище
17 сообщений из 17, страница 1 из 1
Большое локальное файловое хранилище
    #38404477
Last1Cmen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть задача организации файлового хранилища для архивов видеонаблюдения.
Расчетное количество архивов - 1000, каждый по 1Тб
Для доступа туда будет организована локальная сеть.
Виртуализация, ftp и т.д. не нужны, это просто большой мусорник

Что можно попробовать и сколько это будет стоить?
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38404540
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
тут есть описание, как такое делается

http://www.thecus.ru/articles/?solution=17
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38404552
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сильно зависит от желаемой надежности и прочих требований.
Некоторые делают так:
rulib2012.narod.ru/article03.html
chipxp.ru/index.php?newsid=46735
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38404602
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Еще тут картинки есть заманчивые:
http://thecus.ru/7/?ptype=3&item=67

Подозреваю, что у других производителей серверов и сетевых хранилищ тоже есть такие картинки...
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38404606
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хотя, имхо, это уже тот объем, который пора делать на лентах. Время смены кассеты уже все равно невелико по сравнению со временем копирования одного файла (1ТБ - это десятки минут на 10GBE).
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38404884
Last1Cmen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftХотя, имхо, это уже тот объем, который пора делать на лентах. Время смены кассеты уже все равно невелико по сравнению со временем копирования одного файла (1ТБ - это десятки минут на 10GBE).

дело в том что с ним будут работать, пусть немного (десятка два активных подключений в режиме потокового сжатого видеострима) но это оперативная работа
а кассеты дело хорошее но время на разворачивание архива тратить не хотелось бы
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38404890
Last1Cmen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ну вот решения типа такого
схд и таких 5 штук надо получается плюс сетевое оборудование их связать

дороговато как-то :(
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38405153
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Last1Cmenдело в том что с ним будут работать, пусть немного (десятка два активных подключений в режиме потокового сжатого видеострима) но это оперативная работаВот про это поподробнее, плиз. Что подразумевается под "работать" и "оперативная работа" ?
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38405211
rahzer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть решения, но дорогие..
У IBM есть решения с СХД в совокупности с кассетами, такой программно-аппаратный комплекс, где данные хранятся по многоуровневому хранению, а для пользователя это выглядит просто как файловая шара, при этом данные, в зависимости от количества обращений хранятся на устройствах разного быстродействия..
У ЕМС есть Isilon
но оба решения очень индивидуальны и начнутся от 7 лямов очень грубо.
СХД лоу энда - это примерно поддержка 130 дисков, пусть по 4ТБ - дальше сами считайте, но в случае сбоя - это пздц, поэтому никто на таком не строит, хотя это будет и дешевле, ляма в 3..Но и риск выше..
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38406600
Last1Cmen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftLast1Cmenдело в том что с ним будут работать, пусть немного (десятка два активных подключений в режиме потокового сжатого видеострима) но это оперативная работаВот про это поподробнее, плиз. Что подразумевается под "работать" и "оперативная работа" ?

Основная задача для чего вообще это дело строится это работа пары десятков операторов видеонаблюдения.
Т.е. в это хранилище сливается (как именно не суть важно) информация с накопителей (видеорегистраторов) а операторы должны обрабатывать эту информацию путем подключения своих просмотрщиков клиентских к этому самому хранилищу. По сути они будут постоянно смотреть "кинушку" (файлы видеоизображения сжатые mpeg/avi) в пару десятков потоков по разным архивам (архив - просто большой набор небольших видеофайлов).
Так вот выдержит ли хранилище (да и вообще возможна ли такая работа без буферного перелива с кассет на ЖД перед просмотром) такую работу если будет организовано на ленточных накопителях ?
Я с ними сталкивался последний раз лет 10-15 тому назад и осталось стойкое впечатление того что они по сути своей не предназначены ни для чего кроме как ОДИН (ну скажем так пару-тройку циклов чтения записи) РАЗ из копии восстановить ЦЕЛИКОМ или ЦЕЛЬНЫМИ БЛОКАМИ то что туда было записано, т.е. ни о какой оперативной работе (с произвольным обращением к записанным мелким файлам) речи идти не может
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38406654
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Last1CmenТак вот выдержит ли хранилище (да и вообще возможна ли такая работа без буферного перелива с кассет на ЖД перед просмотром) такую работу если будет организовано на ленточных накопителях ?Естественно, для оперативной работы нужно хранить на дисках, никаких кассет.
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38406662
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Last1Cmen,

А каков минимальный/максимальный временной разрыв между "в это хранилище сливается" и "операторы должны обрабатывать" ?
Если этот разрыв небольшой, то можно данные за этот интервал времени держать на файловом сервере, а после "просмотра" уже переносить их на кассеты.
Если же этот разрыв очень велик (например, год или несколько), то, наоборот, сперва писать данные на кассеты, а перед приближением срока "просмотра" разворачивать их на дисках файлового сервера.

Мысль в том, что как-то странно постоянно крутить на шпинделях петабайт информации, из которого за сутки пригодится от силы тысячная часть.
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38406881
Last1Cmen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А каков минимальный/максимальный временной разрыв между "в это хранилище сливается" и "операторы должны обрабатывать" ?
есть конечно желание день в день отрабатывать но мысля реалистично разрыв моет составлять и неделю... но не месяц или полгода точно (эту уже будет неактуально просто)

т.е. я так понимаю пока в мире ленточных накопителей ничего кардинально не изменилось и целится надо всё таки не на ленточные накопители ?


пс... досчитал бюджет и если организовывать "в лоб" (просто на суммарный 1Пб размер массивов) получилось под 160К у.е.
буду думать как оптимизировать... надо минимум вдвое/втрое сократить бюджет на железо :(
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38406901
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Last1CmenА каков минимальный/максимальный временной разрыв между "в это хранилище сливается" и "операторы должны обрабатывать" ?
есть конечно желание день в день отрабатывать но мысля реалистично разрыв моет составлять и неделю... но не месяц или полгода точно (эту уже будет неактуально просто)

т.е. я так понимаю пока в мире ленточных накопителей ничего кардинально не изменилось и целится надо всё таки не на ленточные накопители ?Не совсем понял, а что должно было измениться?
Насколько я понял, вам потенциально подходит вариант "данные за этот интервал времени держать на файловом сервере, а после "просмотра" уже переносить их на кассеты".


Last1Cmenпс... досчитал бюджет и если организовывать "в лоб" (просто на суммарный 1Пб размер массивов) получилось под 160К у.е.
буду думать как оптимизировать... надо минимум вдвое/втрое сократить бюджет на железо :(Еще вариант (точнее, версия предыдущего варианта) - оперативные файлы держать на файлов сервере, а "просмотренные" переносить на внешние HDD и убирать их в шкаф (т.е. не строить инфраструктуру для их подключения). Внешние HDD могут быть как в корпусе и с интерфейсом USB 3.0, так и напрямую SATA (существуют готовые кредлы для удобства подключения таких HDD). При необходимости повторного "просмотра" нужный HDD подключается к компу за минуту и сразу готов к "просмотру" произвольного фрагмента.
Дополнительный плюс - нет необходимости покупать всю массу сразу, можно разбить на несколько партий. Да и в случае выхода из строя замена проблемы не составит.
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38408963
Last1Cmen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
да согласен, была идея держать оперативный архив (т.е. тот с которым работают сейчас и гипотетически могут работать ближайшую скажем неделю) на одном массиве а хранить остальную очередь на внешних накопителях (возможно и ленточных)
надо будет логистику построить посмотреть что получится

недешевая штука в общем выходит я вам скажу :)
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38409045
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Last1Cmenнедешевая штука в общем выходит я вам скажу :)Ну так и задача не на пять копеек.
Если посчитать стоимость всего проекта - камеры, доставка "картинки", монтаж всего этого, рабочие места операторов, з/п операторов, сабжевое хранилище и т.д., и т.п., то доля самого хранилища выйдет, имхо, в размере единиц процентов даже если не слишком жаться.
...
Рейтинг: 0 / 0
Большое локальное файловое хранилище
    #38416246
Фотография Scott Tiger
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот есть девайс забавный и недорогой, хотя в реале не видел - http://www.aberdeeninc.com/abcatg/petarack.htm
...
Рейтинг: 0 / 0
17 сообщений из 17, страница 1 из 1
Форумы / Hardware [игнор отключен] [закрыт для гостей] / Большое локальное файловое хранилище
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]