powered by simpleCommunicator - 2.0.37     © 2025 Programmizd 02
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Создание "вечного" хранилища файлов
19 сообщений из 19, страница 1 из 1
Создание "вечного" хранилища файлов
    #39170568
Бредятина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Для приложения БД - корпоративной системы компании - нужно создать хранилище файлов фотографий, которые всегда должны быть доступны. Объём, пока, увеличивается на 10Тб в год. Вероятно, будет увеличиваться на 20 Тб в год. Пока, используются сетевые накопители Synology. Существующие технологии не обеспечивают надежное хранение и доступ к файлам хотя бы в течение 100 лет.
Возможно, у кого-то есть контакты научных лабораторий, которые могли бы создать такое хранилище. Я публикую сообщение такого рода в этом форуме, потому что это приложение БД написано на mumps.
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39170642
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Насколько я знаю в большинстве случаев долговременные хранилища строят сейчас в основном на магнитных лентах, это как архив. Оперативное хранение конечно на дисках, тут выбор конечно проще с одной стороны, для оперативного хранения не нужно закладывать долгосрочность, даже противопоказано, так как будет обратный эффект на скорость доступа к данным. С RAID, решится проблема при выходе из строя дисков.

Что касается долговременного хранения, то тут вариантов не очень много, и сильно разнятся в стоимости систем.
Нашел такую табличку
Media Estimated LifespanMagnetic data (tapes) 10-20 yearsNintendo cartridge Up to 10 yearsFloppy disk 10-20 yearsCDs and DVDs 5-10 unrecorded 2-5 recordedBlu-Ray Not certain probably over 2-5 recordedM-Disc 1 000 years (theoretically)Hard disk 3-5 yearsFlash storage 5-10 years or more (depends on write cycles)
Магнитная лента тут 10-20 лет. Но с другой стороны, этот вид хранения существует дольше остальных.
Но интересная строчка тут M-Disk с довольно большим теоретическим сроком хранения.
Диски обычные всего-то 3-5 лет, ни как не тянут на долгосрочное хранение.
Flash накопители, несколько дольше, но тоже не сильно долго.

проблема с M-Disk сейчас только в том, что при ваших объемах, таких дисков нужно довольно много, есть диски вместимостью 4.7, 25, 50, 100 GB стоимостью до $30 за диск. Таким образом вам понадобится в районе 200 таких дисков в год. Вроде не нашел проблем с поиском подходящего привода, который способен писать такие диски. Сложнее найти сами диски, amazon в помощь.

Жестокое испытание M-Disk на прочность
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39170671
Бредятина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо, DAiMor!
Решение Millenniata с самим носителем - это хорошо, конечно.
Но, он тоже вращается, к сожалению. И мы опять попадаем на те же 3 года, вероятно, уже с приводами.
Мне кажется, что ничего не должно вращаться, в первую очередь...
Но, я, конечно, посмотрю на этот вариант - с периодической заменой приводов.
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39170681
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
БредятинаСпасибо, DAiMor!
Решение Millenniata с самим носителем - это хорошо, конечно.
Но, он тоже вращается, к сожалению. И мы опять попадаем на те же 3 года, вероятно, уже с приводами.
Мне кажется, что ничего не должно вращаться, в первую очередь...
Но, я, конечно, посмотрю на этот вариант - с периодической заменой приводов.Не вращаются только флешки.
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39170687
Бредятина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DAiMorБредятинаСпасибо, DAiMor!
Решение Millenniata с самим носителем - это хорошо, конечно.
Но, он тоже вращается, к сожалению. И мы опять попадаем на те же 3 года, вероятно, уже с приводами.
Мне кажется, что ничего не должно вращаться, в первую очередь...
Но, я, конечно, посмотрю на этот вариант - с периодической заменой приводов.Не вращаются только флешки.
Да. Теперь осталось сделать что-то типа флэшки (назовем это мэшкой):
1) чтобы она сама, как и M-Disc, читалась бы нормально 100 лет;
2) объёмом 1 Тб, например (вероятно, это не обязательно);
3) сетевое М-хранилище из этих мэшек с оперативным доступом (вместо нынешних Synology).
Я ищу, кто может это сделать. И думаю, что кто-то сейчас уже делает...
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39170695
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
БредятинаDAiMorпропущено...
Не вращаются только флешки.
Да. Теперь осталось сделать что-то типа флэшки (назовем это мэшкой):
1) чтобы она сама, как и M-Disc, читалась бы нормально 100 лет;
2) объёмом 1 Тб, например (вероятно, это не обязательно);
3) сетевое М-хранилище из этих мэшек с оперативным доступом (вместо нынешних Synology).
Я ищу, кто может это сделать. И думаю, что кто-то сейчас уже делает...Тогда это любое хранилище на SSD подойдет
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39170725
Бредятина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DAiMor,
Видимо, да. Только ориентированное на другую цель. Пока, пункт 1) не достигнут. "Циклы перезаписи" не нужны. Проще все должно быть, и надежнее. Пока, много нерешенных вопросов с надежностью (статическое электричество, магнитные поля...).
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39170742
EvLaUy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Очень интересная тема. И в образовательном отношении (во всяком случае мне как человеку ничего в этом не понимающему), и в нравственном. Андрей Леонидович, безусловно, - уникальная во многих отношениях личность. Человек переживает за то, что через сто(!) лет кто-то будет на него в претензиях, если окажется, что данные не сохранились. Снимаю шляпу, ибо живу по принципу "день прошел - и хорошо". И все же, все же... Сто лет - большой срок. Сравнить хотя бы технические реалии столетней давности и нынешние. Через сто лет большинство сегодняшних технических проблем наверняка станут пустяковым вопросом.
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39170743
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если нужно именно SSD, хотя пока по стоимости они очень сильно дороже классики. SSD конечно, это еще и скорость доступа. Что касается циклов перезаписи, сейчас это вроде все меньше актуально. Но как неизменяемое хранилище конечно тут все равно.

Но на SSD в любом случае не стоит полагаться как на долговременное хранилище. Бекапы никто не отменял, а тут очень важно выбрать, на чем эти бекапы хранятся. на другом хранилище с SSD тоже конечно можно, но желательно следовать правилу 3-2-1 (3 последних копии, 2 разных носителя, 1 внешний носитель)
По поводу внешнего хранения кстати, есть Amazon для долговременного хранения больших объемов, и стоит это недорого.
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39170749
leov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DAiMor,

лично мне очень интересна именно технология длительного хранения
как именно тот-же амазон или гугл хранит те самые тучи информации?
а так чтобы деньги заплатил и надейся что кто-то не подведет - это не интересно
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39170854
Бредятина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
EvLaUy,
Если фотография сделана - причем, это необычная фотография, и фотография ребенка - нет смысла ее удалять.
Родители могут ее и не купить по экономическим соображениям, например, а сам ребенок, когда вырастет, захочет приобрести...
И т.д.
Так что, это вполне естественно. И это должно быть что-то очень простое. Такая "деталь", которая:
- записывается однократно;
- находится в оперативном доступе (не архив с увеличенным временем доступа);
- по надежности и сроку службы не уступает нынешним M-Disc;
- но, не требует, в отличие от М-Disc никаких приводов;
- имеет такой объём, чтобы докупать одну штуку в год, например.
Нынешние SSD начались с памяти Intel, прошли через поддержку вспомогательной кэш-памяти, и изначально имели другие цели (и, в связи с этим, возможно, использовались не лучшие для долговременного хранения файлов технологии).
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39170859
Бредятина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DAiMorЕсли нужно именно SSD, хотя пока по стоимости они очень сильно дороже классики. SSD конечно, это еще и скорость доступа. Что касается циклов перезаписи, сейчас это вроде все меньше актуально. Но как неизменяемое хранилище конечно тут все равно.

Но на SSD в любом случае не стоит полагаться как на долговременное хранилище. Бекапы никто не отменял, а тут очень важно выбрать, на чем эти бекапы хранятся. на другом хранилище с SSD тоже конечно можно, но желательно следовать правилу 3-2-1 (3 последних копии, 2 разных носителя, 1 внешний носитель)
По поводу внешнего хранения кстати, есть Amazon для долговременного хранения больших объемов, и стоит это недорого.
Amazon физически использует все то же самое. Технология, которую предлагает Amazon (оперативное хранилище --> хранилище с редким чтением --> архив) не вполне подходит. Хотя можно и так: превью хранить в оперативном хранилище, а саму фотографию в архиве.
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39170860
Бредятина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
leovDAiMor,

лично мне очень интересна именно технология длительного хранения
как именно тот-же амазон или гугл хранит те самые тучи информации?
а так чтобы деньги заплатил и надейся что кто-то не подведет - это не интересно
Думаю, никаких особенностей на физическом уровне там нет.
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39173222
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39173613
Бредятина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
servit Кварцевый носитель, способный хранить большие массивы данных миллиарды лет, идет в массы
Смущает термин "диск"... Он и на фотографии выглядит именно как диск, хотя в данном заголовке - "носитель".
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39175053
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Бредятина1) чтобы она сама, как и M-Disc, читалась бы нормально 100 лет;
2) объёмом 1 Тб, например (вероятно, это не обязательно);
3) сетевое М-хранилище из этих мэшек с оперативным доступом (вместо нынешних Synology).Ваш интерес к живучести конкретного носителя информации вызван тем, что вы (=ваш заказчик) собираетесь продавать их клиентам для автономного использования?

Иначе трудно объяснить такой интерес. Соглашусь с EvLaUy, за 100 лет технологии хранения, сильно поменяются. Приведу пример, который ближе мне по теме: хранение данных электронных медицинских карт (ЭМК). По закону требуется хранить их 20 лет, но никто не утруждает себя поисками аппаратных средств, которые это гарантируют, понимая, что срок службы всех компонентов [облачного] хранилища (от серверов до средств архивации) << 20 лет, и это вопрос эксплуатирующей организации своевременно их модернизировать и заменять.
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39175696
Бредятина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey MaslovБредятина1) чтобы она сама, как и M-Disc, читалась бы нормально 100 лет;
2) объёмом 1 Тб, например (вероятно, это не обязательно);
3) сетевое М-хранилище из этих мэшек с оперативным доступом (вместо нынешних Synology).Ваш интерес к живучести конкретного носителя информации вызван тем, что вы (=ваш заказчик) собираетесь продавать их клиентам для автономного использования?
Нет, конечно. Использовать, а не продавать. И не живучесть носителя, а эксплуатационная технологичность.
Alexey Maslov Иначе трудно объяснить такой интерес. Соглашусь с EvLaUy, за 100 лет технологии хранения, сильно поменяются. Приведу пример, который ближе мне по теме: хранение данных электронных медицинских карт (ЭМК). По закону требуется хранить их 20 лет, но никто не утруждает себя поисками аппаратных средств, которые это гарантируют, понимая, что срок службы всех компонентов [облачного] хранилища (от серверов до средств архивации) << 20 лет, и это вопрос эксплуатирующей организации своевременно их модернизировать и заменять.
Никто не утруждает себя - это норма. И не только аппаратных средств, а чего угодно. А я утруждаю, потому что не хочу постоянно модернизировать и заменять.
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39228458
doublefint
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Создание "вечного" хранилища файлов
    #39229918
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
19 сообщений из 19, страница 1 из 1
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Создание "вечного" хранилища файлов
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]