|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
Здравствуйте. Мне необходимо (хотя не так уж необходимо) создать/разработать программный комплекс - хранилище различных научных измерений. Поскольку самому мне такое не потянуть в одиночку поскольку это не моя основная обязанность, поэтому я хочу предложить начальству купить это дело. По моему представлению это должна быть БД (скорей всего на MSSQL Server 2005/2008) + внешний интерфейс для доступа к данным (C# или VB.Net). БД - по моим прикидкам это минимум 10 основных таблиц (остальное что придумают разработчики). Если необходимо я даже дам то что я там прикидывал. Оснвной сложностью по моему будет придумать как хранить огромные фалйы (возможны файлы >10ГБ). Возможно даже прийдется это пихать в БД. Это я уже реализовал, но скорей всего от этого можно отказаться. Файлы должны храниться на жестком диске, а ссылка на файл должна быть в БД. Скорей всего тогда нужно придумать какую то синхронизацию. Еще необходимы: - Авторизация для входа в программу - Генерация отчетов - Возможность "добавлять" данные "порциями". Т.е. накопление данных может происходить на одном компьютере, а затем все это дело (возможно в каком нибудь запакованном виде) нужно слить в основое хранилище на другом компе. -Интерфейс должен быть оооочень удобный, ибо люди его пользующие весьма консервативны и что то им подсунуть новое будет весьма проблематично. Дополнительно: - Интерфейс через LAN - Интерфейс через Браузер - Интерфейс через TCP/IP 1. Сколько это будет стоить? 2. Сроки 3. Предоставят ли разработчики исходный код? Можно ли включить это в требования? ... |
|||
:
Нравится:
Не нравится:
|
|||
11.08.2008, 07:27 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
Есть группа - Серебряков и Бездушные (двое - отец и сын). Они работают в ВЦ РАН. У них сделано, насколько можно судить по публикациям, совместное (по различным наукам, институтам ) хранилище научных энкспериментальных данных. Обратиться к ним, думаю, вполне разумно. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.08.2008, 09:02 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
Кстати, так как вы из Владивостока, обратитесь в ТОИ, там акустики, по-моему, работали с этой группой (Бездушныхи Серебяркова есть приличные публикации совместные). ... |
|||
:
Нравится:
Не нравится:
|
|||
11.08.2008, 09:04 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
[quot recvezitor]Здравствуйте. Мне необходимо (хотя не так уж необходимо) создать/разработать программный комплекс - хранилище различных научных измерений. Поскольку самому мне такое не потянуть в одиночку поскольку это не моя основная обязанность, поэтому я хочу предложить начальству купить это дело. --я там прикидывал. Оснвной сложностью по моему будет придумать как хранить огромные фалйы (возможны файлы >10ГБ). это смешные обьемы для MSSQL. даже при > 10Tb --отказаться. Файлы должны храниться на жестком диске, а ссылка на файл должна быть в БД. это реализовано в 2008, для вашего случая хранить на диске бессмысленно. -Интерфейс должен быть оооочень удобный, ибо люди его пользующие весьма консервативны и что то им подсунуть новое будет весьма проблематично. 1. Сколько это будет стоить? 25-30 USD 2. Сроки 3-4 месяца 3. Предоставят ли разработчики исходный код? Можно ли включить это в требования? обязательно должно стоять в ТО ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2008, 00:49 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
автор25-30 USD 25- 30 штук баксов? охренеть. авторэто смешные обьемы для MSSQL. даже при > 10Tb Я имел ввиду не размер всей получившейся базы, а размер каждого файла сливаемого в БД может быть > 10ГБ. Может быть действителдьно в 2008 это уже не проблема, но в 2005 было ограничение на максимальный размер в 2ГБ. авторобратитесь в ТОИ, там акустики Я именно в ТОИ и работаю. Но тут все как то вяленько это работает и никто не хочет это дело развивать. А то что я нашел в публикациях было за 2004 год написано на Делфи и честно говоря функцианальность меня не поразила. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2008, 04:18 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
recvezitorЯ именно в ТОИ и работаю. Но тут все как то вяленько это работает и никто не хочет это дело развивать. А то что я нашел в публикациях было за 2004 год написано на Делфи и честно говоря функцианальность меня не поразила. Вы про эту публикацию http://www.benran.ru/Magazin/cgi-bin/Sb_05/pr_05.exe?!18 ? она за 2005 год .. но не суть, мне самой было инетресно, хотела посмотреть .. потому как в приницие хранилище различных экспериментальных данных мы делали в свое время , довольно давно, лет 10-15 назад, но тогда невозможно было уговорить разные лаборатории - все боялись показывать свои натурные данные - украдут. но это уже лирика. по сути - мне кажется за сумму меньше 25 тыс. никто из сторонних связываться не будет (ну если только студенты, а это известный результат). Там ведь вопрос не в том, чтобы данные хранить,а еще оебспечить предварительную обработку - убрать все лишнее и чтобы ничгео не терялось, сопрягать с железом. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2008, 09:49 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
> Там ведь вопрос не в том, чтобы данные хранить,а еще оебспечить предварительную обработку А зачем? Для данных любого эксперимента создать соответствующую структуру данных - полчаса времени. Описать условия и результаты - проще пареной репы. Задача-то на самом деле простая: метаописание проектов, экспериментов и сотрудников (со стандартными подзадачами). Отчеты и обработчики - стандартные, благо свободных библиотек хватает. Так что задача на неделю работы. Платить баранам типа Lepsik деньги - абсолютно бессмысленно. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.08.2008, 22:10 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
guest_20040621 А зачем? Для данных любого эксперимента создать соответствующую структуру данных - полчаса времени. Описать условия и результаты - проще пареной репы. Задача-то на самом деле простая: метаописание проектов, экспериментов и сотрудников (со стандартными подзадачами). Отчеты и обработчики - стандартные, благо свободных библиотек хватает. Так что задача на неделю работы. Платить баранам типа Lepsik деньги - абсолютно бессмысленно. Данные, поулченные в течение научного эксперимента - часто имеют множество излишней информации, которую быстрее удалить, чем сохранить. Объемы там громадные - ну пишутся скажем 32 канала по 100 КгЦ в течение полугода .. и нельзя терять, поэтому их часто предварительно фильтруют, удаляют наводку, тренды, сглаживают. Частов одном канале сразу несколько датчиков, надо делать модуляцию и вырезать нужное. Если хранить все, без предварительной обработки - никаких дисков не хватит. Второй момент , эксперименты соврешенно разные , но скажем по одному учатску. Скажем в тмо же Тихоокеанском кеанологическом институте (ТОИ) одна база на м. Шульца (кстати, не в тему - удивительно по красоте место ) с десяток лабораторий, которые меряют разные вещи. Т.е. по сути нужно хранить очнеь разные данные с совершенно разными метаописаниями. В то же время интерес представляет корреляция этих данных между собой. Т.е. нужна система с настариваемыми метаданными, настраиваемыми управлениями железом, и все это таким образмо, чтобы потом можно было искать зависимости между ниим. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 03:19 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
recvezitorОснвной сложностью по моему будет придумать как хранить огромные фалйы (возможны файлы >10ГБ). А сколько примерно файлов будет? 10-100-1000? А через год? recvezitor 1. Сколько это будет стоить? 2. Сроки 3. Предоставят ли разработчики исходный код? Можно ли включить это в требования? 1. Сложно сказать, но можно расчитать, что затраты на одного опытного (в смысле не студента и уже с многими реализованными проектами за плечами) программиста в России вам встанут до 5 тысяч долларов в США в месяц. Может быть во Владивостоке и дешевле можно подыскать, но я не знаю - ориентируюсь на цену, которые берут аутсорсерские конторы за одного программиста. 2. По срокам непонятно, так как мало деталей. 3. Можно договриться, что и исходный код предоставят. А вот вы говорите, что есть написанная программа на Delphi, которую надо переписать. Можете здесь скриншоты основных форм показать - может тогда можно будет и про сроки поговорить. Кстати, если найдете кого подешевле (а то и вообще какого-нибудь дипломника или аспиранта бесплатно), можете получить ту же самое функцианальность, которая вам не понравится. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 05:49 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
автор но тогда невозможно было уговорить разные лаборатории - все боялись показывать свои натурные данные - украдут. Сегодня ничего не изменилось :) по прежнему боятся (хотя кому они нафиг нужны?) авторВы про эту публикацию http://www.benran.ru/Magazin/cgi-bin/Sb_05/pr_05.exe?!18 Вообще то про эту http://ejta.org/ru/martynov1. Эту статейку я не видел, весьма интересная. авторЕсли хранить все, без предварительной обработки - никаких дисков не хватит Это факт. Мы за месяц измерений набрали пол ТБ сырых данных. Но что делать. По моему и нужно хранить сырые данные. У каждой лаборатории должен быть свое подобие сервера, где бы хранились эти данные, но интерфейс доступа должен быть единым. Чтобы любой другой человек взяв эти сырые данные, подставив параметры которые задокументировны в базе, смог бы повторить результаты предыдущих автров. тогда и достоверность бы полученных результатов сразу возрасла. Я вообще хотел "тупое" хранилище. База с описательной информацией и ссылками на файлы на жестком диске в виде DataBase\1\12\3\filename.dat, где циферки это ID Эксперимента, Серии и Измерения соответственно. Потому что иногда в том хаосе информации. которая раскиадна по разным компам и разным дискам разобраться порой сложно. А потом еще нужно найти доковские файлы в которых присутствует описание изменрений. К тому же создание отчетов одной кнопочкой весьма заманчива. авторпо сути нужно хранить очнеь разные данные с совершенно разными метаописаниями Мне кажется что это просто решается. Нужно просто эти параметры(метаданные) позволить добавлять пользователям. Т.е. структура таблицы должна быть примерно следующая см приложение Таблица Record содержит значение параметра и ссылку на таблицу Parameter которая уже описывает параметр - имя, единицы измерения, краткое обозначение. Аналогично можно сделать табличку для нечисловых параметров. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 05:51 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
guest_20040621Платить баранам типа Lepsik деньги - абсолютно бессмысленно. Вот люди. И почему Lepsik сразу баран? Я вот лично в его профайл заглянул, прошелся по его темам, вроде он по-моему вовсе не баран. Я бы лично посмотрел на того барана, кто за неделю возьмется сделать. И потом бы еще раз через неделю посмотрел. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 06:01 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
авторА сколько примерно файлов будет? 10-100-1000? А через год? Очень много. По крайней мере у нас в сутки выходило 2-3 файла сумарно около 12 ГБ . Возможно, нужно будет запускать каких нибудь шедулеров, которые бы чистили "лишние файлы", которые после определнной обработки помечались бы как ненужные. авторМожет быть во Владивостоке и дешевле можно подыскать, Вот я чтото вроде нашел они говорят о 30К-100К руб. Единственное, они мутят, говорят что если мы вам код покажем то это существенно отразится на стоимости заказа. авторА вот вы говорите, что есть написанная программа на Delphi Ее у меня нет, но есть описание по ссылке http://ejta.org/ru/martynov1 .Там надо pdf-файлик скачать. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 06:07 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
recvezitorЯ вообще хотел "тупое" хранилище. База с описательной информацией и ссылками на файлы на жестком диске в виде DataBase\1\12\3\filename.dat, где циферки это ID Эксперимента, Серии и Измерения соответственно. Потому что иногда в том хаосе информации. которая раскиадна по разным компам и разным дискам разобраться порой сложно. А потом еще нужно найти доковские файлы в которых присутствует описание изменрений. К тому же создание отчетов одной кнопочкой весьма заманчива. Тупое не получится, потом сразу захочится хранить не только данные, но и результаты их обработки, потому что дальше будет та же история с результатами обработки, что сейчас с данными. Результаты будут по разным компьютерам с разными метаопсианиями, а частои без них. И хранить все таки все - не советую, слишком много мусора, который не просто место занимает, но и мешает анализировать полезную информацию, ну сами понимаете, сделай спектральный анализ на негодящей выборке и будешь иметь искаженный результат. Не отфильтруй наводку - и непонятно чем тут занимались вообще, хотя сейчас может наводка уже не сильно видна ? recvezitor Мне кажется что это просто решается. Нужно просто эти параметры(метаданные) позволить добавлять пользователям. Т.е. структура таблицы должна быть примерно следующая Тут есть момент с корреляцией данных. Т.е. найти данные скажем по одному и тому же дню или по одному и тому же датчику (а метданнные разные) или по одной и той же частоте дискретизации или еще чему-то .. т.е. метаописания должны быть прозрачные для разных шаблонов. Но по набору могут быть разными. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 06:33 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
авторИ хранить все таки все - не советую, слишком много мусора, который не просто место занимает, но и мешает анализировать полезную информацию, ну сами понимаете, сделай спектральный анализ на негодящей выборке и будешь иметь искаженный результат. Не отфильтруй наводку - и непонятно чем тут занимались вообще, хотя сейчас может наводка уже не сильно видна ? Конечно же нужно заведомо некорректные данные отбрасывать и делать предварительную обработку. Например мы сразу фильтруем и детектируем сигнал (что существенно уменьшает размеры записываемых файлов). Под "сырыми" данными я имел ввиду не обработанные какими нибудь специализированными мат методами. И делать выбор о том заносить или не заносить данные, что "выбросить" должен делать оператор или исследователь. авторТут есть момент с корреляцией данных. Т.е. найти данные скажем по одному и тому же дню или по одному и тому же датчику (а метданнные разные) или по одной и той же частоте дискретизации или еще чему-то .. т.е. метаописания должны быть прозрачные для разных шаблонов. Но по набору могут быть разными. Я наверно не правильно понимаю термин метаданные. Метаданные - это например Руководитель, место проведения эксперимента? Т.е. вы предлагаете метаданные внести в качестве полей в структуру таблицы? Но если мы их все жестко зададим, мы никогда не сможем учесть все возможные метаданные? Одному важен параметр "Руководитель", а другому важен параметр "Планета исследования" к примеру. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 06:57 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
recvezitorЯ наверно не правильно понимаю термин метаданные. Метаданные - это например Руководитель, место проведения эксперимента? Т.е. вы предлагаете метаданные внести в качестве полей в структуру таблицы? Но если мы их все жестко зададим, мы никогда не сможем учесть все возможные метаданные? Одному важен параметр "Руководитель", а другому важен параметр "Планета исследования" к примеру. Да вообщем правильно. Метаданные, это то, что делает из данных информацию. Все, что нужно знать об этмо файле - место првоедения экмепримента, тип датчиков, частоты дискретизации, режимы (по событию, по порогу, по чему-то еще), число каналов, были ли аналоговые фильтры и их параметры, условия проведения эксперимента - ветер, глубина, место, наличие калибровки, ссылка на калибровчные коэффициенты, частоты, которые интересуют, была ли коммутация сигналов, параметры ее, коэффициенты усиления (аналогово и цифрового) и т.п. Поэтому, конечно, я не предлагаю внести эти метаданные в таблицу - они должны быть расширяемые. Речь о том, что скажем Рутенко снимает по одному шаблону, а Моргунов по другому. Но и у того и у другого есть, например, характеристика место и оно общее, а вот остальные характеристики разные. У вас просто общие для всех экспериментов параметры (судя по таблицам), а нужно сделать шаблоны, которые состоят из этих параметров и шаблоны сделать доступными разным пользователям (одним- одни, другим - другие). Там можно как раз сделать разгарнечение прав, чтобы владельцы данных могли давать права другим для обработки (но косность научных сотрудников в этмо вопросе иногда просто зашкаливает) ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 07:15 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
Не забудьте цель хранилища - поиск нужной информации. т.е. поиск по метаданным, один обзовет место првоедения эксперимента - м. Шульца, другой - б. Витязь .. место одно, а искать не будет.. надо вводить эквивалентность значений характеристик или ограничивать ввод данных в справочниках одной понимающей личностью. Нужно расширение сторонних справочники, ну там место (справочник мест проведения экспериментов сегодня, а завтра еще спарвочник больных, у которых снимают показания дыхания), их тоже надо подключать к хранилищу и желательно без перепрограммирования. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 07:47 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
авторРутенко снимает по одному шаблону, а Моргунов по другому Вы работали/работаете в ТОИ? :) ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 08:27 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
recvezitor авторРутенко снимает по одному шаблону, а Моргунов по другому Вы работали/работаете в ТОИ? :) Мы писали системы сбора и обработки для Рутенко довольно давно. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 08:36 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
Mainframe_старый Т.е. вы предлагаете метаданные внести в качестве полей в структуру таблицы? Но если мы их все жестко зададим, мы никогда не сможем учесть все возможные метаданные? чем ваши метаданные отличаются от метаданных номенклатуры товаров в супермаркетах? - есть модель EAV в БД, которая прекрасно решает данную проблему (правда дороже в реализации) ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 11:20 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
я не знаю что такое EAV ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 12:10 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
Делайте распределенную систему. На одном компе вы такие обемы не удержите, точнее удержите, но он будет стоить гораздо дороже чем группа обычных. К тому-же весьма вероятно, что со временем обемы будут расти. А нахрена тут вообще MS SQL или какой друго SQL? У вас система - типа медиахранилища. Написанная сумма ~30 к. $ верная, даже скорей минимум, при котором этот проект будет интересен компаниям. Потому что он нестандартный и они никому больше его продать не смогут. И даже при такой сумме многие откажуться делать, поскольку кроме вас больше никому не продадут и за нестандартность тоже платить нужно. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 14:35 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
recvezitor Ее у меня нет, но есть описание по ссылке http://ejta.org/ru/martynov1 .Там надо pdf-файлик скачать. Посмотрел - работы максимум на месяц. То, что вы нашли за 30К-100К руб во Владивостоке - это реальная цена проекта и есть. Если контора надежная, то соглашайтесь. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.08.2008, 18:23 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
По-моему, ученые проекты, как правило, пишутся на открытом софте и самостоятельно. И с новейшими технологиями, либо даже с изобретением новых - а иначе какой научный смысл? :) ... |
|||
:
Нравится:
Не нравится:
|
|||
14.08.2008, 09:52 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
privateДелайте распределенную систему. Я и хочу сделать чтобы у каждой лаборатории был свой "сервер" с экземпляром программы и своей БД. И у всех есть клиенты. На серверной части программы нужно сделать вход с правами - клиенты с родной лаборатоии могут читать и править данные, а соседи могут только читать и то только если им дадут логин и пароль. авторНаписанная сумма ~30 к. $ верная Такие деньги ни зачто не выделят авторА нахрена тут вообще MS SQL или какой друго SQL? У вас система - типа медиахранилища. Для того чтобы хранить всю остальную инфу о файлах авторПосмотрел - работы максимум на месяц. В том то и дело то что там сделано явно недостаточно. Там большинство параметров жестко закодировано, а это неприемлимо. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.08.2008, 09:54 |
|
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
|
|||
---|---|---|---|
#18+
А6дуллаПо-моему, ученые проекты, как правило, пишутся на открытом софте и самостоятельно. И с новейшими технологиями, либо даже с изобретением новых - а иначе какой научный смысл? :) Это не научный проект, это самое преобычное "бизнес-приложение". Велосипед придумывать смысла нет, проще купить. По вашей логике мы и туалеты должны сами чинить и тоже на "открытом софте" :) и мебель у нас должна быть летающая сколоченная на коленке и работающая на холодном термояде :) (вспоминается почему то фильм Железный человек) ... |
|||
:
Нравится:
Не нравится:
|
|||
14.08.2008, 10:09 |
|
|
start [/forum/topic.php?fid=33&fpage=29&tid=1548175]: |
0ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
22ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
58ms |
get tp. blocked users: |
1ms |
others: | 316ms |
total: | 435ms |
0 / 0 |