ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
16 сообщений из 41, страница 2 из 2
  2  все
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35487585
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
guest_20040621
Гость
> Данные, поулченные в течение научного эксперимента - часто имеют множество излишней информации, которую быстрее
> удалить, чем сохранить.

Ну и отлично. Raw и production никто не мешает различать. С разными требованиями к доступности и срокам хранения.

> Т.е. нужна система с настариваемыми метаданными, настраиваемыми управлениями железом

Достаточно один раз спроектировать метаописание. Это действительно очень просто.
...
Рейтинг: 0 / 0
14.08.2008, 14:07
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35487589
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
guest_20040621
Гость
> И почему Lepsik сразу баран?

Потому что это не первое и даже не второе обсуждение, в котором он принял участие. И все - с одинаковым результатом.

> Я бы лично посмотрел на того барана, кто за неделю возьмется сделать.

Дружище, вашу квалификацию оценить или вы просто научитесь молчать?
...
Рейтинг: 0 / 0
14.08.2008, 14:09
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35490867
Кифирчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кифирчик
Участник
такую ИС невозможно дописать до конца, там постоянно надо будет что-нить шаманить...
вам нужно делать мего кластер, брать в шаты программера, лучше 2-х, хорошего админа а всем "учёным" начинать учить SQL... можно даже свободные СУБД использовать (слыхал как-то что научная европпа сидит на постгрисе)... если привлечь стороннюю контору, то вы ТАК на них подсядите... и исходного кода вам всёравно никто не покажет :) только и будете успевать готовить документы и платёжки на "внесение изменений"...
программист должен сидеть с вами рядом, вариться в проблемме, а лучше всего быть одним из вас (учёных)

ИМХО исходные данные должны лежать в файлах, которые АЦП формирует, а что обработается (отфильтруется, обрежется) всякие кореляции, тренды то в СУБД...
чтобы хранить описание эксперимента, и связать с ними файлы/таблицы - с этим можно справиться относительно быстро...
а далее, ваши программисты, для каждого нового исследования, будут чё-нить шаманить... админы следить чтоб всё это не падало, докручивать железо....
универсальную модель на все случае жизни здесь не сделать, к каждому случаю должен быть индивидуальный подход (особенно когда речь идёт о терабайтах)...
вот... дальше пусть студенты, аспиранты дрочатся над программками для анализа, обработки, под курсовые, дипломы... может из этого зоопарка со временем что-нить выдающееся выделится
...
Рейтинг: 0 / 0
16.08.2008, 01:14
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35490934
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
guest_20040621
Гость
> такую ИС невозможно дописать до конца, там постоянно надо будет что-нить шаманить...

Еще один гуру, бл%. Чувак, я тебе расскажу, как сделать такую систему на коленке за четыре часа.

Берем пакет для управления проектами, который поддерживает wiki-style контент, управление документами, файловое хранилище, управление доступом, нормальные средства коммуникации между разработчиками и имеет веб-интерфейс. Я знаю как минимум четыре таких open source пакета. Берем СУБД, поддерживающую схемы; каждый проект - это отдельная база данных, данные экспериментов хранятся в видей файлов и управляются средствами пакета для управления проектами и/или лежат в соответствующей схеме базы данных. Берем пакет для веб-интерфейса к СУБД с поддержкой отчетов и аналитикой. Их море. Берем библиотеку для математической обработки результатов экспериментов. Все перечисленное - open source. Администрирование такой системы сводится к созданию структуры данных для каждого эксперимента и раздаче прав пользователям - сотрудникам исследовательской группы. Стоимость ПО - нулевая, стоимость администрирования - близка к нулевой. Время на создание - четыре часа при готовой инфраструктуре.
...
Рейтинг: 0 / 0
16.08.2008, 10:15
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35491047
Кифирчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кифирчик
Участник
guest_20040621Еще один гуру, бл%. Чувак, я тебе расскажу, как сделать такую систему на коленке за четыре часа.
Уважаемый, у тебя есть возможность за 4-ре часа заработать пару тройку килобаксов... давай... на коленке, за сутки..

в том, что можно легко обойтись OpenSource - полностью согласен. и схемы в СУБД тоже хорошая идея... и хранить описание эксперимента, файлы, и PM wiki-style - удобное решение...

но это всё должен кто-то собрать в кучу. кто это должен сделать?
чёт я не слышал о разработчиках, которые тебе чисто на open source всё сваяют, и ещё специально для вас, изучат пакеты по обработке данных какого-нить американского универститета... скорее скажут что нужен как миниум Oracl и два человеко-года... и ещё прочитают лекцию про то как круто .NET или Java

даже если уже есть собранные и настроенный project manager, при хранении данных для каждого исследования - будут свои нюансы, которые будут выпадать из обобщённой схемы...
про обработку и аналитику я вообще молчу... два разных учёных, могут одно и тоже делать по разному... для исследования одного явления могут быть разные модели, каждое исследованеи уникально
...
Рейтинг: 0 / 0
16.08.2008, 14:41
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35491115
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
guest_20040621
Гость
> есть возможность за 4-ре часа заработать пару тройку килобаксов...

Херней не занимаюсь. Ни за деньги, ни просто так.
...
Рейтинг: 0 / 0
16.08.2008, 17:33
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35491772
recvezitor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
recvezitor
Участник
авторPM wiki-style
Че это такое?
автордаже если уже есть собранные и настроенный project manager, при хранении данных для каждого исследования - будут свои нюансы, которые будут выпадать из обобщённой схемы...
Вот я и хочу выделить только общее, а специфические вещи уже пусть каждая лаборатория для себя сама делает
авторпро обработку и аналитику я вообще молчу
я тоже про это молчу. Я и хочу "тупое хранилище". Трудным скорей всего будет делать синхронизацию данных, если центральное хранилище находится в одном месте, а данные заполняются в другом месте. И их потом нужно смержить.

авторпрограммист должен сидеть с вами рядом, вариться в проблемме, а лучше всего быть одним из вас (учёных)
я так и хотел но мне не дадут заниматься "ненаукой".
...
Рейтинг: 0 / 0
18.08.2008, 03:57
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35492500
Кифирчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кифирчик
Участник
recvezitor авторPM wiki-style
Че это такое?
project manager - "пакет для управления проектами", wiki-style это типа довольно гибкая среда описания/хранения данных...
recvezitor
Вот я и хочу выделить только общее, а специфические вещи уже пусть каждая лаборатория для себя сама делает
... Я и хочу "тупое хранилище". Трудным скорей всего будет делать синхронизацию данных, если центральное хранилище находится в одном месте, а данные заполняются в другом месте. И их потом нужно смержить.

тогда вам действительно нужен project manager, копайте в этом направлении, может и бесплатный есть... в wiki может разберётесь.
будет что-то типа дерева проектов... для веток можно делать различное описание, прикреплять файлы, ссылка на базу данных... разделение доступа

синхронизация - не думаю что будет сложно... там где они пишутся, то скорее всего пишутся в файлы, а каждый файл будет иметь описание и дату... записали где-нибудь, подключились к ИС, загрузили файл, описание, конвертируете в таблицу
...
Рейтинг: 0 / 0
18.08.2008, 13:34
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35500655
private
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
private
Участник
Вот что вам нужно:
- DokuWiki для описаний/метаданных.
- Network File System для хранения, любая подходящая реализация (как одноранговая сеть. Центр/отдел/синхронизация и прочая мудата ни разу тут не в тему).

Про предварительную обработку нормализацию и прочие кружева:
во первых подозреваю что это нахрен никому не нужно
а во вторых достаточно того что вопервых
...
Рейтинг: 0 / 0
22.08.2008, 02:47
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35500664
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mainframe_старый
Участник
private
Про предварительную обработку нормализацию и прочие кружева:
во первых подозреваю что это нахрен никому не нужно
а во вторых достаточно того что вопервых
Тут вы не правы, предварительная обработка нужна и сильно (поверьте мне, я в этом варилась), но она не отменяет вашего предложения . Обработка делается при создании файла, а к чему его потом присоединять - это значения для обработки не имеет.
...
Рейтинг: 0 / 0
22.08.2008, 04:09
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35500694
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mainframe_старый
Участник
privateВот что вам нужно:
- DokuWiki для описаний/метаданных.

Не нашла пока, вы не знаете, а у них есть возможность организовывать поиск по метаданным (ну не на точное соовтетсвие, а чтобы в диапазоне, больше, меньше и т.п.? или это нужно делать самим?).
...
Рейтинг: 0 / 0
22.08.2008, 06:45
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35500909
private
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
private
Участник
http://www.dokuwiki.org/dokuwiki
Там куча всяких плагинов, но большеменьше насколько знаю нет. Нужндо делать
...
Рейтинг: 0 / 0
22.08.2008, 10:19
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35503206
-lesha-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-lesha-
Гость
Привет
Мы делаем Web базу данных и мне кажется, что она может подойти, если у Вас есть возможность и желание работать с ней через Интернет.
Как минимум ей пользуется клиент, который использует ее для ведения научных экспериментов.
Все приложение они делали сами, а мы помогали только в сложных моментах.

recvezitor
авторпрограммист должен сидеть с вами рядом, вариться в проблемме, а лучше всего быть одним из вас (учёных)
я так и хотел но мне не дадут заниматься "ненаукой".

Создание приложения не требует знания программирования и не занимает столько времени, поэтому сможете воплотить свое видение без программиста.

Объемные файлы можно хранить локальных компьютерах, а в базе держать только ссылки на них, может еще ключевые слова для полнотекстового поиска.
...
Рейтинг: 0 / 0
23.08.2008, 23:53
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #35503731
recvezitor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
recvezitor
Участник
Всем спасибо за обсуждение. Но скорей всего тему можно закрывать. Так как у нас обнаружилась группа исследователей которая этим вопросом занимается. И выбить финансирование на мою затеюврядли удастся. Прийдется подстраиваться под их разработки
...
Рейтинг: 0 / 0
25.08.2008, 04:59
| Ответить | Цитировать | Написать  
Период между сообщениями больше года.
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #36915468
private
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
private
Участник
может кому будет интересно, щас работаю с похожей задачей, оказывается для нее уже есть готовое решение - Apache Hadoop, открытый клон архитектуры гугла.

Бесплатен, работает на дешевом железе, "разумен" - выстраивает и балансирует распределенное хранилище самостоятельно, может хранить терабайты на тысяч машин, помимо хранения имеется мощный процессинг и метаданные, безлимитная база данных (HBase) и инструменты аналитики (Pig, Hive).

судя по всему уже продакшен реди энд батл тестед в твиттере, фейсбуке, яху и ряде других.

Ну и вообще, сама по себе интересная штуковина.
...
Рейтинг: 0 / 0
22.10.2010, 20:29
| Ответить | Цитировать | Написать  
Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
    #36946095
СергейF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СергейF
Участник
recvezitor,

функциональность хранилища "Классификатора объектов":
- любой объект может быть как «узлом», так и «листом» (т.е. иметь или не иметь собственную ветку «потомков»);
- множественное наследование объекта (у любого объекта может быть более одного «родителя»);
- дополнительно к наследованию можно указать связь и тип связи между объектами;
- возможность удаления объекта (группы объектов) с заменой во всех ссылках на удаляемый объект на другой объект (по сути слияние двух объектов с учетом значений их атрибутов);
- копирование, групповое переподчинение объектов;
- объект может иметь произвольное число атрибутов;
- поддержка числовых, строковых и «дата-время» значений атрибутов;
- поддержка ограничения на диапазон значений в числовом типе атрибута;
- поддержка значения атрибута, выбираемого из списка значений (список значений создается в другой «ветке» классификатора);
- наследование атрибутов от родителей (каждый «потомок имеет атрибуты от «родителя» плюс свои собственные);
- возможность наследования значений атрибутов от родителей (указывается для каждого атрибута);
- исторические и перечисляемые значения для атрибутов (поддержка более одного значения атрибута, в историческом типе указываются даты действия значения);
- возможность контроля уникальности значений атрибута в пределах родителя;
- группирование атрибутов;
- разделение прав доступа к атрибутам;
- возможность прикрепить к объекту неограниченное число файлов любого типа (изображения, документы DOC, PDF, HTML и т.д.)
- поиск в классификаторе «И-ИЛИ» по атрибутам;
- поиск в классификаторе по вхождению для строковых значений;
- поиск в классификаторе по диапазону для числовых значений и значений типа «дата-время»;
- автоматический парсинг, классификация и индексация документов (текстовый, doc, rtf) по настраиваемым шаблонам;
- полнотекстовый поиск по индексированным документам;
- разграничение доступа к объектам классификатора (по иерархии, по уровню секретности и по префиксу подсистемы);
- журналирование всех действий пользователя в классификаторе.

Исходные коды - нет
Стоимость на условиях аренды
Сроки - два дня на подключение и обучение
...
Рейтинг: 0 / 0
10.11.2010, 01:24
| Ответить | Цитировать | Написать  
16 сообщений из 41, страница 2 из 2
  2  все
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Хранилище данных для научного учреждения. Стоимость, возможные особенности и т.д.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/moderation_log.php?user_name=Guest+%D0%98%D0%A2]:
 0ms
get settings:
 8ms
get forum list:
 12ms
get settings:
 10ms
get forum list:
 16ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 40ms
get topic data:
 9ms
get first new msg:
 7ms
get forum data:
 2ms
get page messages:
 57ms
get tp. blocked users:
 1ms
others: 846ms
total:  1016ms
созд. / загр.: 1016ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]