ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
41 сообщений из 41, показаны все 2 страниц
  все  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35480479
recvezitor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
recvezitor
Участник
Здравствуйте. Мне необходимо (хотя не так уж необходимо) создать/разработать программный комплекс - хранилище различных научных измерений. Поскольку самому мне такое не потянуть в одиночку поскольку это не моя основная обязанность, поэтому я хочу предложить начальству купить это дело.
По моему представлению это должна быть БД (скорей всего на MSSQL Server 2005/2008) + внешний интерфейс для доступа к данным (C# или VB.Net). БД - по моим прикидкам это минимум 10 основных таблиц (остальное что придумают разработчики). Если необходимо я даже дам то что я там прикидывал. Оснвной сложностью по моему будет придумать как хранить огромные фалйы (возможны файлы >10ГБ). Возможно даже прийдется это пихать в БД. Это я уже реализовал, но скорей всего от этого можно отказаться. Файлы должны храниться на жестком диске, а ссылка на файл должна быть в БД. Скорей всего тогда нужно придумать какую то синхронизацию. Еще необходимы:
- Авторизация для входа в программу
- Генерация отчетов
- Возможность "добавлять" данные "порциями". Т.е. накопление данных может происходить на одном компьютере, а затем все это дело (возможно в каком нибудь запакованном виде) нужно слить в основое хранилище на другом компе.
-Интерфейс должен быть оооочень удобный, ибо люди его пользующие весьма консервативны и что то им подсунуть новое будет весьма проблематично.

Дополнительно:
- Интерфейс через LAN
- Интерфейс через Браузер
- Интерфейс через TCP/IP

1. Сколько это будет стоить?
2. Сроки
3. Предоставят ли разработчики исходный код? Можно ли включить это в требования?
...
Рейтинг: 0 / 0
11.08.2008, 07:27
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35480543
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mainframe_старый
Участник
Есть группа - Серебряков и Бездушные (двое - отец и сын). Они работают в ВЦ РАН. У них сделано, насколько можно судить по публикациям, совместное (по различным наукам, институтам ) хранилище научных энкспериментальных данных. Обратиться к ним, думаю, вполне разумно.
...
Рейтинг: 0 / 0
11.08.2008, 09:02
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35480548
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mainframe_старый
Участник
Кстати, так как вы из Владивостока, обратитесь в ТОИ, там акустики, по-моему, работали с этой группой (Бездушныхи Серебяркова есть приличные публикации совместные).
...
Рейтинг: 0 / 0
11.08.2008, 09:04
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35482178
Lepsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lepsik
Участник
[quot recvezitor]Здравствуйте. Мне необходимо (хотя не так уж необходимо) создать/разработать программный комплекс - хранилище различных научных измерений. Поскольку самому мне такое не потянуть в одиночку поскольку это не моя основная обязанность, поэтому я хочу предложить начальству купить это дело.

--я там прикидывал. Оснвной сложностью по моему будет придумать как хранить огромные фалйы (возможны файлы >10ГБ).

это смешные обьемы для MSSQL. даже при > 10Tb

--отказаться. Файлы должны храниться на жестком диске, а ссылка на файл должна быть в БД.

это реализовано в 2008, для вашего случая хранить на диске бессмысленно.

-Интерфейс должен быть оооочень удобный, ибо люди его пользующие весьма консервативны и что то им подсунуть новое будет весьма проблематично.

1. Сколько это будет стоить?

25-30 USD

2. Сроки

3-4 месяца

3. Предоставят ли разработчики исходный код? Можно ли включить это в требования?

обязательно должно стоять в ТО
...
Рейтинг: 0 / 0
12.08.2008, 00:49
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35482218
recvezitor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
recvezitor
Участник
автор25-30 USD

25- 30 штук баксов? охренеть.
авторэто смешные обьемы для MSSQL. даже при > 10Tb

Я имел ввиду не размер всей получившейся базы, а размер каждого файла сливаемого в БД может быть > 10ГБ. Может быть действителдьно в 2008 это уже не проблема, но в 2005 было ограничение на максимальный размер в 2ГБ.
авторобратитесь в ТОИ, там акустики
Я именно в ТОИ и работаю. Но тут все как то вяленько это работает и никто не хочет это дело развивать. А то что я нашел в публикациях было за 2004 год написано на Делфи и честно говоря функцианальность меня не поразила.
...
Рейтинг: 0 / 0
12.08.2008, 04:18
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35482382
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mainframe_старый
Участник
recvezitorЯ именно в ТОИ и работаю. Но тут все как то вяленько это работает и никто не хочет это дело развивать. А то что я нашел в публикациях было за 2004 год написано на Делфи и честно говоря функцианальность меня не поразила.

Вы про эту публикацию http://www.benran.ru/Magazin/cgi-bin/Sb_05/pr_05.exe?!18
? она за 2005 год .. но не суть, мне самой было инетресно, хотела посмотреть .. потому как в приницие хранилище различных экспериментальных данных мы делали в свое время , довольно давно, лет 10-15 назад, но тогда невозможно было уговорить разные лаборатории - все боялись показывать свои натурные данные - украдут.
но это уже лирика. по сути - мне кажется за сумму меньше 25 тыс. никто из сторонних связываться не будет (ну если только студенты, а это известный результат).
Там ведь вопрос не в том, чтобы данные хранить,а еще оебспечить предварительную обработку - убрать все лишнее и чтобы ничгео не терялось, сопрягать с железом.
...
Рейтинг: 0 / 0
12.08.2008, 09:49
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484107
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
guest_20040621
Гость
> Там ведь вопрос не в том, чтобы данные хранить,а еще оебспечить предварительную обработку

А зачем? Для данных любого эксперимента создать соответствующую структуру данных - полчаса времени. Описать условия и результаты - проще пареной репы. Задача-то на самом деле простая: метаописание проектов, экспериментов и сотрудников (со стандартными подзадачами). Отчеты и обработчики - стандартные, благо свободных библиотек хватает. Так что задача на неделю работы. Платить баранам типа Lepsik деньги - абсолютно бессмысленно.
...
Рейтинг: 0 / 0
12.08.2008, 22:10
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484250
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mainframe_старый
Участник
guest_20040621

А зачем? Для данных любого эксперимента создать соответствующую структуру данных - полчаса времени. Описать условия и результаты - проще пареной репы. Задача-то на самом деле простая: метаописание проектов, экспериментов и сотрудников (со стандартными подзадачами). Отчеты и обработчики - стандартные, благо свободных библиотек хватает. Так что задача на неделю работы. Платить баранам типа Lepsik деньги - абсолютно бессмысленно.

Данные, поулченные в течение научного эксперимента - часто имеют множество излишней информации, которую быстрее удалить, чем сохранить. Объемы там громадные - ну пишутся скажем 32 канала по 100 КгЦ в течение полугода .. и нельзя терять, поэтому их часто предварительно фильтруют, удаляют наводку, тренды, сглаживают. Частов одном канале сразу несколько датчиков, надо делать модуляцию и вырезать нужное. Если хранить все, без предварительной обработки - никаких дисков не хватит.
Второй момент , эксперименты соврешенно разные , но скажем по одному учатску. Скажем в тмо же Тихоокеанском кеанологическом институте (ТОИ) одна база на м. Шульца (кстати, не в тему - удивительно по красоте место ) с десяток лабораторий, которые меряют разные вещи. Т.е. по сути нужно хранить очнеь разные данные с совершенно разными метаописаниями. В то же время интерес представляет корреляция этих данных между собой. Т.е. нужна система с настариваемыми метаданными, настраиваемыми управлениями железом, и все это таким образмо, чтобы потом можно было искать зависимости между ниим.
...
Рейтинг: 0 / 0
13.08.2008, 03:19
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484277
УмныйЧеловек
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
УмныйЧеловек
Участник
recvezitorОснвной сложностью по моему будет придумать как хранить огромные фалйы (возможны файлы >10ГБ).
А сколько примерно файлов будет? 10-100-1000? А через год?

recvezitor
1. Сколько это будет стоить?
2. Сроки
3. Предоставят ли разработчики исходный код? Можно ли включить это в требования?

1. Сложно сказать, но можно расчитать, что затраты на одного опытного (в смысле не студента и уже с многими реализованными проектами за плечами) программиста в России вам встанут до 5 тысяч долларов в США в месяц. Может быть во Владивостоке и дешевле можно подыскать, но я не знаю - ориентируюсь на цену, которые берут аутсорсерские конторы за одного программиста.
2. По срокам непонятно, так как мало деталей.
3. Можно договриться, что и исходный код предоставят.

А вот вы говорите, что есть написанная программа на Delphi, которую надо переписать. Можете здесь скриншоты основных форм показать - может тогда можно будет и про сроки поговорить.
Кстати, если найдете кого подешевле (а то и вообще какого-нибудь дипломника или аспиранта бесплатно), можете получить ту же самое функцианальность, которая вам не понравится.
...
Рейтинг: 0 / 0
13.08.2008, 05:49
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484278
recvezitor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
recvezitor
Участник
автор но тогда невозможно было уговорить разные лаборатории - все боялись показывать свои натурные данные - украдут.
Сегодня ничего не изменилось :) по прежнему боятся (хотя кому они нафиг нужны?)
авторВы про эту публикацию http://www.benran.ru/Magazin/cgi-bin/Sb_05/pr_05.exe?!18

Вообще то про эту http://ejta.org/ru/martynov1. Эту статейку я не видел, весьма интересная.
авторЕсли хранить все, без предварительной обработки - никаких дисков не хватит
Это факт. Мы за месяц измерений набрали пол ТБ сырых данных. Но что делать. По моему и нужно хранить сырые данные. У каждой лаборатории должен быть свое подобие сервера, где бы хранились эти данные, но интерфейс доступа должен быть единым. Чтобы любой другой человек взяв эти сырые данные, подставив параметры которые задокументировны в базе, смог бы повторить результаты предыдущих автров. тогда и достоверность бы полученных результатов сразу возрасла.
Я вообще хотел "тупое" хранилище. База с описательной информацией и ссылками на файлы на жестком диске в виде DataBase\1\12\3\filename.dat, где циферки это ID Эксперимента, Серии и Измерения соответственно. Потому что иногда в том хаосе информации. которая раскиадна по разным компам и разным дискам разобраться порой сложно. А потом еще нужно найти доковские файлы в которых присутствует описание изменрений. К тому же создание отчетов одной кнопочкой весьма заманчива.
авторпо сути нужно хранить очнеь разные данные с совершенно разными метаописаниями
Мне кажется что это просто решается. Нужно просто эти параметры(метаданные) позволить добавлять пользователям. Т.е. структура таблицы должна быть примерно следующая

см приложение

Таблица Record содержит значение параметра и ссылку на таблицу Parameter которая уже описывает параметр - имя, единицы измерения, краткое обозначение. Аналогично можно сделать табличку для нечисловых параметров.
...
Рейтинг: 0 / 0
13.08.2008, 05:51
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484280
УмныйЧеловек
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
УмныйЧеловек
Участник
guest_20040621Платить баранам типа Lepsik деньги - абсолютно бессмысленно.
Вот люди. И почему Lepsik сразу баран? Я вот лично в его профайл заглянул, прошелся по его темам, вроде он по-моему вовсе не баран.
Я бы лично посмотрел на того барана, кто за неделю возьмется сделать. И потом бы еще раз через неделю посмотрел.
...
Рейтинг: 0 / 0
13.08.2008, 06:01
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484282
recvezitor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
recvezitor
Участник
авторА сколько примерно файлов будет? 10-100-1000? А через год?

Очень много. По крайней мере у нас в сутки выходило 2-3 файла сумарно около 12 ГБ .
Возможно, нужно будет запускать каких нибудь шедулеров, которые бы чистили "лишние файлы", которые после определнной обработки помечались бы как ненужные.
авторМожет быть во Владивостоке и дешевле можно подыскать,
Вот я чтото вроде нашел они говорят о 30К-100К руб.
Единственное, они мутят, говорят что если мы вам код покажем то это существенно отразится на стоимости заказа.
авторА вот вы говорите, что есть написанная программа на Delphi
Ее у меня нет, но есть описание по ссылке http://ejta.org/ru/martynov1 .Там надо pdf-файлик скачать.
...
Рейтинг: 0 / 0
13.08.2008, 06:07
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484289
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mainframe_старый
Участник
recvezitorЯ вообще хотел "тупое" хранилище. База с описательной информацией и ссылками на файлы на жестком диске в виде DataBase\1\12\3\filename.dat, где циферки это ID Эксперимента, Серии и Измерения соответственно. Потому что иногда в том хаосе информации. которая раскиадна по разным компам и разным дискам разобраться порой сложно. А потом еще нужно найти доковские файлы в которых присутствует описание изменрений. К тому же создание отчетов одной кнопочкой весьма заманчива.


Тупое не получится, потом сразу захочится хранить не только данные, но и результаты их обработки, потому что дальше будет та же история с результатами обработки, что сейчас с данными. Результаты будут по разным компьютерам с разными метаопсианиями, а частои без них.
И хранить все таки все - не советую, слишком много мусора, который не просто место занимает, но и мешает анализировать полезную информацию, ну сами понимаете, сделай спектральный анализ на негодящей выборке и будешь иметь искаженный результат. Не отфильтруй наводку - и непонятно чем тут занимались вообще, хотя сейчас может наводка уже не сильно видна ?

recvezitor
Мне кажется что это просто решается. Нужно просто эти параметры(метаданные) позволить добавлять пользователям. Т.е. структура таблицы должна быть примерно следующая



Тут есть момент с корреляцией данных. Т.е. найти данные скажем по одному и тому же дню или по одному и тому же датчику (а метданнные разные) или по одной и той же частоте дискретизации или еще чему-то .. т.е. метаописания должны быть прозрачные для разных шаблонов. Но по набору могут быть разными.
...
Рейтинг: 0 / 0
13.08.2008, 06:33
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484294
recvezitor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
recvezitor
Участник
авторИ хранить все таки все - не советую, слишком много мусора, который не просто место занимает, но и мешает анализировать полезную информацию, ну сами понимаете, сделай спектральный анализ на негодящей выборке и будешь иметь искаженный результат. Не отфильтруй наводку - и непонятно чем тут занимались вообще, хотя сейчас может наводка уже не сильно видна ?
Конечно же нужно заведомо некорректные данные отбрасывать и делать предварительную обработку. Например мы сразу фильтруем и детектируем сигнал (что существенно уменьшает размеры записываемых файлов). Под "сырыми" данными я имел ввиду не обработанные какими нибудь специализированными мат методами. И делать выбор о том заносить или не заносить данные, что "выбросить" должен делать оператор или исследователь.
авторТут есть момент с корреляцией данных. Т.е. найти данные скажем по одному и тому же дню или по одному и тому же датчику (а метданнные разные) или по одной и той же частоте дискретизации или еще чему-то .. т.е. метаописания должны быть прозрачные для разных шаблонов. Но по набору могут быть разными.
Я наверно не правильно понимаю термин метаданные. Метаданные - это например Руководитель, место проведения эксперимента? Т.е. вы предлагаете метаданные внести в качестве полей в структуру таблицы? Но если мы их все жестко зададим, мы никогда не сможем учесть все возможные метаданные? Одному важен параметр "Руководитель", а другому важен параметр "Планета исследования" к примеру.
...
Рейтинг: 0 / 0
13.08.2008, 06:57
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484298
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mainframe_старый
Участник
recvezitorЯ наверно не правильно понимаю термин метаданные. Метаданные - это например Руководитель, место проведения эксперимента? Т.е. вы предлагаете метаданные внести в качестве полей в структуру таблицы? Но если мы их все жестко зададим, мы никогда не сможем учесть все возможные метаданные? Одному важен параметр "Руководитель", а другому важен параметр "Планета исследования" к примеру.

Да вообщем правильно. Метаданные, это то, что делает из данных информацию. Все, что нужно знать об этмо файле - место првоедения экмепримента, тип датчиков, частоты дискретизации, режимы (по событию, по порогу, по чему-то еще), число каналов, были ли аналоговые фильтры и их параметры, условия проведения эксперимента - ветер, глубина, место, наличие калибровки, ссылка на калибровчные коэффициенты, частоты, которые интересуют, была ли коммутация сигналов, параметры ее, коэффициенты усиления (аналогово и цифрового) и т.п.
Поэтому, конечно, я не предлагаю внести эти метаданные в таблицу - они должны быть расширяемые. Речь о том, что скажем Рутенко снимает по одному шаблону, а Моргунов по другому. Но и у того и у другого есть, например, характеристика место и оно общее, а вот остальные характеристики разные. У вас просто общие для всех экспериментов параметры (судя по таблицам), а нужно сделать шаблоны, которые состоят из этих параметров и шаблоны сделать доступными разным пользователям (одним- одни, другим - другие). Там можно как раз сделать разгарнечение прав, чтобы владельцы данных могли давать права другим для обработки (но косность научных сотрудников в этмо вопросе иногда просто зашкаливает)
...
Рейтинг: 0 / 0
13.08.2008, 07:15
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484308
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mainframe_старый
Участник
Не забудьте цель хранилища - поиск нужной информации. т.е. поиск по метаданным, один обзовет место првоедения эксперимента - м. Шульца, другой - б. Витязь .. место одно, а искать не будет.. надо вводить эквивалентность значений характеристик или ограничивать ввод данных в справочниках одной понимающей личностью. Нужно расширение сторонних справочники, ну там место (справочник мест проведения экспериментов сегодня, а завтра еще спарвочник больных, у которых снимают показания дыхания), их тоже надо подключать к хранилищу и желательно без перепрограммирования.
...
Рейтинг: 0 / 0
13.08.2008, 07:47
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484338
recvezitor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
recvezitor
Участник
авторРутенко снимает по одному шаблону, а Моргунов по другому
Вы работали/работаете в ТОИ? :)
...
Рейтинг: 0 / 0
13.08.2008, 08:27
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484343
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mainframe_старый
Участник
recvezitor авторРутенко снимает по одному шаблону, а Моргунов по другому
Вы работали/работаете в ТОИ? :)
Мы писали системы сбора и обработки для Рутенко довольно давно.
...
Рейтинг: 0 / 0
13.08.2008, 08:36
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484723
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
Mainframe_старый
Т.е. вы предлагаете метаданные внести в качестве полей в структуру таблицы? Но если мы их все жестко зададим, мы никогда не сможем учесть все возможные метаданные?

чем ваши метаданные отличаются от метаданных номенклатуры товаров в супермаркетах?
- есть модель EAV в БД, которая прекрасно решает данную проблему (правда дороже в реализации)
...
Рейтинг: 0 / 0
13.08.2008, 11:20
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35484872
recvezitor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
recvezitor
Участник
я не знаю что такое EAV
...
Рейтинг: 0 / 0
13.08.2008, 12:10
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35485382
private
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
private
Участник
Делайте распределенную систему. На одном компе вы такие обемы не удержите, точнее удержите, но он будет стоить гораздо дороже чем группа обычных.
К тому-же весьма вероятно, что со временем обемы будут расти.

А нахрена тут вообще MS SQL или какой друго SQL? У вас система - типа медиахранилища.

Написанная сумма ~30 к. $ верная, даже скорей минимум, при котором этот проект будет интересен компаниям. Потому что он нестандартный и они никому больше его продать не смогут.
И даже при такой сумме многие откажуться делать, поскольку кроме вас больше никому не продадут и за нестандартность тоже платить нужно.
...
Рейтинг: 0 / 0
13.08.2008, 14:35
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35486088
УмныйЧеловек
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
УмныйЧеловек
Участник
recvezitor
Ее у меня нет, но есть описание по ссылке http://ejta.org/ru/martynov1 .Там надо pdf-файлик скачать.
Посмотрел - работы максимум на месяц. То, что вы нашли за 30К-100К руб во Владивостоке - это реальная цена проекта и есть. Если контора надежная, то соглашайтесь.
...
Рейтинг: 0 / 0
13.08.2008, 18:23
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35486624
Фотография А6дулла
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
А6дулла
Участник
По-моему, ученые проекты, как правило, пишутся на открытом софте и самостоятельно. И с новейшими технологиями, либо даже с изобретением новых - а иначе какой научный смысл? :)
...
Рейтинг: 0 / 0
14.08.2008, 09:52
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35486628
recvezitor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
recvezitor
Участник
privateДелайте распределенную систему.
Я и хочу сделать чтобы у каждой лаборатории был свой "сервер" с экземпляром программы и своей БД. И у всех есть клиенты. На серверной части программы нужно сделать вход с правами - клиенты с родной лаборатоии могут читать и править данные, а соседи могут только читать и то только если им дадут логин и пароль.
авторНаписанная сумма ~30 к. $ верная
Такие деньги ни зачто не выделят
авторА нахрена тут вообще MS SQL или какой друго SQL? У вас система - типа медиахранилища.

Для того чтобы хранить всю остальную инфу о файлах
авторПосмотрел - работы максимум на месяц.
В том то и дело то что там сделано явно недостаточно. Там большинство параметров жестко закодировано, а это неприемлимо.
...
Рейтинг: 0 / 0
14.08.2008, 09:54
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35486671
recvezitor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
recvezitor
Участник
А6дуллаПо-моему, ученые проекты, как правило, пишутся на открытом софте и самостоятельно. И с новейшими технологиями, либо даже с изобретением новых - а иначе какой научный смысл? :)
Это не научный проект, это самое преобычное "бизнес-приложение". Велосипед придумывать смысла нет, проще купить. По вашей логике мы и туалеты должны сами чинить и тоже на "открытом софте" :) и мебель у нас должна быть летающая сколоченная на коленке и работающая на холодном термояде :) (вспоминается почему то фильм Железный человек)
...
Рейтинг: 0 / 0
14.08.2008, 10:09
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35487585
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
guest_20040621
Гость
> Данные, поулченные в течение научного эксперимента - часто имеют множество излишней информации, которую быстрее
> удалить, чем сохранить.

Ну и отлично. Raw и production никто не мешает различать. С разными требованиями к доступности и срокам хранения.

> Т.е. нужна система с настариваемыми метаданными, настраиваемыми управлениями железом

Достаточно один раз спроектировать метаописание. Это действительно очень просто.
...
Рейтинг: 0 / 0
14.08.2008, 14:07
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35487589
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
guest_20040621
Гость
> И почему Lepsik сразу баран?

Потому что это не первое и даже не второе обсуждение, в котором он принял участие. И все - с одинаковым результатом.

> Я бы лично посмотрел на того барана, кто за неделю возьмется сделать.

Дружище, вашу квалификацию оценить или вы просто научитесь молчать?
...
Рейтинг: 0 / 0
14.08.2008, 14:09
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35490867
Кифирчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кифирчик
Участник
такую ИС невозможно дописать до конца, там постоянно надо будет что-нить шаманить...
вам нужно делать мего кластер, брать в шаты программера, лучше 2-х, хорошего админа а всем "учёным" начинать учить SQL... можно даже свободные СУБД использовать (слыхал как-то что научная европпа сидит на постгрисе)... если привлечь стороннюю контору, то вы ТАК на них подсядите... и исходного кода вам всёравно никто не покажет :) только и будете успевать готовить документы и платёжки на "внесение изменений"...
программист должен сидеть с вами рядом, вариться в проблемме, а лучше всего быть одним из вас (учёных)

ИМХО исходные данные должны лежать в файлах, которые АЦП формирует, а что обработается (отфильтруется, обрежется) всякие кореляции, тренды то в СУБД...
чтобы хранить описание эксперимента, и связать с ними файлы/таблицы - с этим можно справиться относительно быстро...
а далее, ваши программисты, для каждого нового исследования, будут чё-нить шаманить... админы следить чтоб всё это не падало, докручивать железо....
универсальную модель на все случае жизни здесь не сделать, к каждому случаю должен быть индивидуальный подход (особенно когда речь идёт о терабайтах)...
вот... дальше пусть студенты, аспиранты дрочатся над программками для анализа, обработки, под курсовые, дипломы... может из этого зоопарка со временем что-нить выдающееся выделится
...
Рейтинг: 0 / 0
16.08.2008, 01:14
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35490934
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
guest_20040621
Гость
> такую ИС невозможно дописать до конца, там постоянно надо будет что-нить шаманить...

Еще один гуру, бл%. Чувак, я тебе расскажу, как сделать такую систему на коленке за четыре часа.

Берем пакет для управления проектами, который поддерживает wiki-style контент, управление документами, файловое хранилище, управление доступом, нормальные средства коммуникации между разработчиками и имеет веб-интерфейс. Я знаю как минимум четыре таких open source пакета. Берем СУБД, поддерживающую схемы; каждый проект - это отдельная база данных, данные экспериментов хранятся в видей файлов и управляются средствами пакета для управления проектами и/или лежат в соответствующей схеме базы данных. Берем пакет для веб-интерфейса к СУБД с поддержкой отчетов и аналитикой. Их море. Берем библиотеку для математической обработки результатов экспериментов. Все перечисленное - open source. Администрирование такой системы сводится к созданию структуры данных для каждого эксперимента и раздаче прав пользователям - сотрудникам исследовательской группы. Стоимость ПО - нулевая, стоимость администрирования - близка к нулевой. Время на создание - четыре часа при готовой инфраструктуре.
...
Рейтинг: 0 / 0
16.08.2008, 10:15
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35491047
Кифирчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кифирчик
Участник
guest_20040621Еще один гуру, бл%. Чувак, я тебе расскажу, как сделать такую систему на коленке за четыре часа.
Уважаемый, у тебя есть возможность за 4-ре часа заработать пару тройку килобаксов... давай... на коленке, за сутки..

в том, что можно легко обойтись OpenSource - полностью согласен. и схемы в СУБД тоже хорошая идея... и хранить описание эксперимента, файлы, и PM wiki-style - удобное решение...

но это всё должен кто-то собрать в кучу. кто это должен сделать?
чёт я не слышал о разработчиках, которые тебе чисто на open source всё сваяют, и ещё специально для вас, изучат пакеты по обработке данных какого-нить американского универститета... скорее скажут что нужен как миниум Oracl и два человеко-года... и ещё прочитают лекцию про то как круто .NET или Java

даже если уже есть собранные и настроенный project manager, при хранении данных для каждого исследования - будут свои нюансы, которые будут выпадать из обобщённой схемы...
про обработку и аналитику я вообще молчу... два разных учёных, могут одно и тоже делать по разному... для исследования одного явления могут быть разные модели, каждое исследованеи уникально
...
Рейтинг: 0 / 0
16.08.2008, 14:41
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35491115
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
guest_20040621
Гость
> есть возможность за 4-ре часа заработать пару тройку килобаксов...

Херней не занимаюсь. Ни за деньги, ни просто так.
...
Рейтинг: 0 / 0
16.08.2008, 17:33
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35491772
recvezitor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
recvezitor
Участник
авторPM wiki-style
Че это такое?
автордаже если уже есть собранные и настроенный project manager, при хранении данных для каждого исследования - будут свои нюансы, которые будут выпадать из обобщённой схемы...
Вот я и хочу выделить только общее, а специфические вещи уже пусть каждая лаборатория для себя сама делает
авторпро обработку и аналитику я вообще молчу
я тоже про это молчу. Я и хочу "тупое хранилище". Трудным скорей всего будет делать синхронизацию данных, если центральное хранилище находится в одном месте, а данные заполняются в другом месте. И их потом нужно смержить.

авторпрограммист должен сидеть с вами рядом, вариться в проблемме, а лучше всего быть одним из вас (учёных)
я так и хотел но мне не дадут заниматься "ненаукой".
...
Рейтинг: 0 / 0
18.08.2008, 03:57
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35492500
Кифирчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кифирчик
Участник
recvezitor авторPM wiki-style
Че это такое?
project manager - "пакет для управления проектами", wiki-style это типа довольно гибкая среда описания/хранения данных...
recvezitor
Вот я и хочу выделить только общее, а специфические вещи уже пусть каждая лаборатория для себя сама делает
... Я и хочу "тупое хранилище". Трудным скорей всего будет делать синхронизацию данных, если центральное хранилище находится в одном месте, а данные заполняются в другом месте. И их потом нужно смержить.

тогда вам действительно нужен project manager, копайте в этом направлении, может и бесплатный есть... в wiki может разберётесь.
будет что-то типа дерева проектов... для веток можно делать различное описание, прикреплять файлы, ссылка на базу данных... разделение доступа

синхронизация - не думаю что будет сложно... там где они пишутся, то скорее всего пишутся в файлы, а каждый файл будет иметь описание и дату... записали где-нибудь, подключились к ИС, загрузили файл, описание, конвертируете в таблицу
...
Рейтинг: 0 / 0
18.08.2008, 13:34
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35500655
private
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
private
Участник
Вот что вам нужно:
- DokuWiki для описаний/метаданных.
- Network File System для хранения, любая подходящая реализация (как одноранговая сеть. Центр/отдел/синхронизация и прочая мудата ни разу тут не в тему).

Про предварительную обработку нормализацию и прочие кружева:
во первых подозреваю что это нахрен никому не нужно
а во вторых достаточно того что вопервых
...
Рейтинг: 0 / 0
22.08.2008, 02:47
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35500664
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mainframe_старый
Участник
private
Про предварительную обработку нормализацию и прочие кружева:
во первых подозреваю что это нахрен никому не нужно
а во вторых достаточно того что вопервых
Тут вы не правы, предварительная обработка нужна и сильно (поверьте мне, я в этом варилась), но она не отменяет вашего предложения . Обработка делается при создании файла, а к чему его потом присоединять - это значения для обработки не имеет.
...
Рейтинг: 0 / 0
22.08.2008, 04:09
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35500694
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mainframe_старый
Участник
privateВот что вам нужно:
- DokuWiki для описаний/метаданных.

Не нашла пока, вы не знаете, а у них есть возможность организовывать поиск по метаданным (ну не на точное соовтетсвие, а чтобы в диапазоне, больше, меньше и т.п.? или это нужно делать самим?).
...
Рейтинг: 0 / 0
22.08.2008, 06:45
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35500909
private
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
private
Участник
http://www.dokuwiki.org/dokuwiki
Там куча всяких плагинов, но большеменьше насколько знаю нет. Нужндо делать
...
Рейтинг: 0 / 0
22.08.2008, 10:19
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35503206
-lesha-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-lesha-
Гость
Привет
Мы делаем Web базу данных и мне кажется, что она может подойти, если у Вас есть возможность и желание работать с ней через Интернет.
Как минимум ей пользуется клиент, который использует ее для ведения научных экспериментов.
Все приложение они делали сами, а мы помогали только в сложных моментах.

recvezitor
авторпрограммист должен сидеть с вами рядом, вариться в проблемме, а лучше всего быть одним из вас (учёных)
я так и хотел но мне не дадут заниматься "ненаукой".

Создание приложения не требует знания программирования и не занимает столько времени, поэтому сможете воплотить свое видение без программиста.

Объемные файлы можно хранить локальных компьютерах, а в базе держать только ссылки на них, может еще ключевые слова для полнотекстового поиска.
...
Рейтинг: 0 / 0
23.08.2008, 23:53
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35503731
recvezitor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
recvezitor
Участник
Всем спасибо за обсуждение. Но скорей всего тему можно закрывать. Так как у нас обнаружилась группа исследователей которая этим вопросом занимается. И выбить финансирование на мою затеюврядли удастся. Прийдется подстраиваться под их разработки
...
Рейтинг: 0 / 0
25.08.2008, 04:59
| Ответить | Цитировать | Написать  
Период между сообщениями больше года.
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #36915468
private
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
private
Участник
может кому будет интересно, щас работаю с похожей задачей, оказывается для нее уже есть готовое решение - Apache Hadoop, открытый клон архитектуры гугла.

Бесплатен, работает на дешевом железе, "разумен" - выстраивает и балансирует распределенное хранилище самостоятельно, может хранить терабайты на тысяч машин, помимо хранения имеется мощный процессинг и метаданные, безлимитная база данных (HBase) и инструменты аналитики (Pig, Hive).

судя по всему уже продакшен реди энд батл тестед в твиттере, фейсбуке, яху и ряде других.

Ну и вообще, сама по себе интересная штуковина.
...
Рейтинг: 0 / 0
22.10.2010, 20:29
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #36946095
СергейF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СергейF
Участник
recvezitor,

функциональность хранилища "Классификатора объектов":
- любой объект может быть как «узлом», так и «листом» (т.е. иметь или не иметь собственную ветку «потомков»);
- множественное наследование объекта (у любого объекта может быть более одного «родителя»);
- дополнительно к наследованию можно указать связь и тип связи между объектами;
- возможность удаления объекта (группы объектов) с заменой во всех ссылках на удаляемый объект на другой объект (по сути слияние двух объектов с учетом значений их атрибутов);
- копирование, групповое переподчинение объектов;
- объект может иметь произвольное число атрибутов;
- поддержка числовых, строковых и «дата-время» значений атрибутов;
- поддержка ограничения на диапазон значений в числовом типе атрибута;
- поддержка значения атрибута, выбираемого из списка значений (список значений создается в другой «ветке» классификатора);
- наследование атрибутов от родителей (каждый «потомок имеет атрибуты от «родителя» плюс свои собственные);
- возможность наследования значений атрибутов от родителей (указывается для каждого атрибута);
- исторические и перечисляемые значения для атрибутов (поддержка более одного значения атрибута, в историческом типе указываются даты действия значения);
- возможность контроля уникальности значений атрибута в пределах родителя;
- группирование атрибутов;
- разделение прав доступа к атрибутам;
- возможность прикрепить к объекту неограниченное число файлов любого типа (изображения, документы DOC, PDF, HTML и т.д.)
- поиск в классификаторе «И-ИЛИ» по атрибутам;
- поиск в классификаторе по вхождению для строковых значений;
- поиск в классификаторе по диапазону для числовых значений и значений типа «дата-время»;
- автоматический парсинг, классификация и индексация документов (текстовый, doc, rtf) по настраиваемым шаблонам;
- полнотекстовый поиск по индексированным документам;
- разграничение доступа к объектам классификатора (по иерархии, по уровню секретности и по префиксу подсистемы);
- журналирование всех действий пользователя в классификаторе.

Исходные коды - нет
Стоимость на условиях аренды
Сроки - два дня на подключение и обучение
...
Рейтинг: 0 / 0
10.11.2010, 01:24
| Ответить | Цитировать | Написать  
41 сообщений из 41, показаны все 2 страниц
  все  
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=33&tid=1548175]:
 0ms
get settings:
 10ms
get forum list:
 10ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 23ms
get topic data:
 9ms
get forum data:
 3ms
get page messages:
 63ms
get tp. blocked users:
 1ms
others: 336ms
total:  459ms
созд. / загр.: 459ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]