ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / СУБД для хранения генома.
25 сообщений из 56, страница 1 из 3
  1  все
СУБД для хранения генома.
    #39658810
rigor mortis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rigor mortis
Гость
Привет.
Встал вопрос выбора БД для хранения генома. Должна ли это быть sql или nosql БД, то же вопрос. Структура информации и работа с ней заключаются в следующем:

- геном представляет собой непрерывную цепочку четвертичных бит (ДНК-нуклеотидов), то есть каждый бит может содержать одно из
значений А, Т, Г, Ц;

- длина генома от 500 (некоторые бактерии) до нескольких миллиардов (3200000 у млекопитающих);

- геном содержит последовательности бит, представляющих собой функциональные участки: начало гена, пустые участки гена,
кодирующие участки гена, "хвост" гена. А так же прочие сервисные и пустые последовательности, которые должны иметь
характеристику;

- в геноме должна быть возможность поиска определённой последовательности по 40-60% совпадений (искомая последовательность до
2000 бит) и по точному совпадению более коротких последовательность (искомая последовательность до 50 бит). А так же сравнение
двух последовательностей.
...
Рейтинг: 0 / 0
09.06.2018, 12:42
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39659100
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
rigor mortis,

задача как она описана вообще не особо для БД, имхо. По сути нужен список blob-ов и какой-то хитрый индекс по нему. Реализовывать этот индекс на 99.99% всё равно придётся самостоятельно, а в остальном функциональность БД просто не требуется.
...
Рейтинг: 0 / 0
09.06.2018, 20:26
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39659135
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
гуглим gene database

похоже, много людей уже решали эти вопросы
...
Рейтинг: 0 / 0
09.06.2018, 23:07
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39659136
Фотография Щиче
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Щиче
Участник
rigor mortis, NoSQL обслуживают специфические случаи. Берите реляционку, она универсальна. У вас геном сводится к хранению чисел, которые надо хранить в блобах (как целое). Несколько миллиардов записей на организм для любой СУБД слишком круто. Но вот держать таблицу с данными организма и в отдельном поле геном будет удобно.
...
Рейтинг: 0 / 0
09.06.2018, 23:09
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39659173
982183
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
982183
Участник
Снова попытки изобрести велосипед.
Хорошо, что если в учебных целях.
...
Рейтинг: 0 / 0
10.06.2018, 04:54
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39659194
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
читай про hadoop и map-reduce, типичная для него задача.
...
Рейтинг: 0 / 0
10.06.2018, 10:22
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39659246
tip78
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tip78
Участник
а как же РНК?
по последним исследованиям, ДНК хранит много базовых инструкций, а вся инфа по специфике конкретного вида - в РНК
...
Рейтинг: 0 / 0
10.06.2018, 13:46
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39659360
rigor mortis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rigor mortis
Гость
tip78а как же РНК?
по последним исследованиям, ДНК хранит много базовых инструкций, а вся инфа по специфике конкретного вида - в РНК
Ну это вообще ни в какие ворота.
...
Рейтинг: 0 / 0
11.06.2018, 00:21
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39660954
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Давайте пока забъем болт на возможную экономию.
И представим геном текстовой строкой из алфавита 4х букв.

Просто нам так будет проще с терминологией.
...
Рейтинг: 0 / 0
14.06.2018, 20:01
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39660956
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
maytonДавайте пока забъем болт на возможную экономию.
И представим геном текстовой строкой из алфавита 4х букв.

Просто нам так будет проще с терминологией.
Ну не 4, а все же больше.

Про РНК уже вспомнили.

И AFAIK в целом оснований больше и в редких ситуациях основания вроде могут быть и другими (пруф. не дам, даже не помню, где это читал)

последовательности по 40-60% совпадений

Совершенно НЕ понятно. Как считать % совпадений и что вообще подразумевается под "совпадением"

Насколько я помню ДНК - парная. Т.ч. не очень понятно, как считать "совпадения". Никто же не мешает, в одной БД основания из одной цепочки выписать, а искать по основаниям из паралелльной цепочки. В общем, не знаю, как принято в генной инженерии кодировать.

Задача очень похоже на индексацию текста и нечеткий поиск. Вполне возможно, какие-то существующие алгоритмы вполне могут подойти.

Побить каким-то образом миллиардную последовательность на маленькие кусочки и искать по ним (в принципе, никто не мешает резать куски, что бы они взаимно накладывались друг на друга). Тогда БД будет осмысленна. Сначала находим сопадающие кусочки, потом SELECT'ами определяем какому гену они принадлежат.
...
Рейтинг: 0 / 0
14.06.2018, 20:30
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661036
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Автор пишет
Код: sql
1.
- длина генома от 500 (некоторые бактерии) до нескольких миллиардов (3 200 000 у млекопитающих);


Переводя на наш язык. БД должна хранить строки от 500 символов до 3 мега-символов.

Здесь особо нечего выбирать. Здесь нужно key-value хранилище.

Типа

keyvalueСаблезубая мышь.genomATGCATGCATGCATGCATGC.....Комар писклявый кусачий.genomAAAAAGGGGGTTTTTCCCCCC....
Согласен с softwarer по поводу акцента на алгоритмах. По большему счету здесь даже СУБД особо не нужна.
Нужен эффективный алгоритм индексирования. Учитывая специфику - это не текстовый поиск. Могу чуть
позже аргументировать почему. Но сперава задам вопросы Ригор-Мортису.

По поводу специализированных СУБД для генетики. Здесь я не готов ничего комментировать.
Но скорее всего их сила не в хранении а в обработке. Тоесть в алгоритмах сопоставления нечетких ключей.
И я вангую что подобных проектов очень мало и они стоят денег.
...
Рейтинг: 0 / 0
15.06.2018, 08:14
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661078
982183
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
982183
Участник
maytonИ я вангую что подобных проектов очень мало и они стоят денег.
На практике мало кто оперирует полностью расшифрованным геномом.
Используется технология "полосок" на маркере.
...
Рейтинг: 0 / 0
15.06.2018, 09:20
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661091
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
А мы можем уйти от биологии и плавно подойти к.. Терминологии которая общепринята в it?
...
Рейтинг: 0 / 0
15.06.2018, 09:36
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661099
982183
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
982183
Участник
maytonА мы можем уйти от биологии и плавно подойти к.. Терминологии которая общепринята в it?
Чаще всего на практике используются аналоговые технологии, а не цифровые.
...
Рейтинг: 0 / 0
15.06.2018, 09:49
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661168
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
982183,

Как энтузиаст и бывший радио-любитель я готов поддержать тему аналоговой техники. Но мне кажется будет разумным обсуждать здесь постановку в терминах it и в русле Сравнения СУБД.

Рнк-днк и и прочаа биологическая атрибутика - В форум биологов. Аналоговая техника - тоже оффтоп.

Поверьте старому модератору.
...
Рейтинг: 0 / 0
15.06.2018, 11:24
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661293
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SergSuper
Участник
maytonА мы можем уйти от биологии и плавно подойти к.. Терминологии которая общепринята в it?мне кажется тут как раз именно проблема как перейти
т.е. пока нет модели
...
Рейтинг: 0 / 0
15.06.2018, 14:29
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661330
tip78
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tip78
Участник
во1, надо буквы в цифры перевести - 1234
во2, bigint-ами хранить геном под индексами 001 002 003 - как то так
поиск достаточно по первому bigint-у сделать, думаю там уник будет
ну или 2й подключить на крайняк
...
Рейтинг: 0 / 0
15.06.2018, 15:13
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661333
tip78
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tip78
Участник
по 18 цифр это 177 777 778 записей для генома в несколько ярдов
но ещё есть вариант в битах хранить: 00 01 11 10
...
Рейтинг: 0 / 0
15.06.2018, 15:16
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661335
tip78
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tip78
Участник
т.е. 1 байт будет содержать аж 4 нуклеотида
...
Рейтинг: 0 / 0
15.06.2018, 15:19
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661363
tip78
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tip78
Участник
4 нуклеотида это всего 16 уникальных блоков так то
т.е. hex

кстати, интересный способ хранения данных - по горизонтали верхние 3 строчки, по вертикали - нижние
Код: sql
1.
https://youtu.be/L_YByJ2QtUc?t=1h14m34s
...
Рейтинг: 0 / 0
15.06.2018, 15:56
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661449
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
mayton...it и в русле Сравнения СУБД.
....
Рнк-днк и и прочаа биологическая атрибутика - В форум биологов.
....
Поверьте старому модератору.
в общем, все предметная область - в топку

будем обсуждать чем битики и байтики в БД MySQL отличаются от битиков и байтиков в PostgreSQL ? :-)

На последний вопрос, могу сразу дать ответ - ничем. И то и то маленькие кусочки намагниченного жесткого диска. При этом в русле IT и Сравнения СУБД даже ничем не будут отличаться от битиков и байтиков просто в текстовом файле.

СУБД это все же только и не столько система хранения. Сколько система управления и ПОИСКА (SELECT) данных. А вот критерии, алгоритмы и требования к поису как раз очень расплывчатые.
...
Рейтинг: 0 / 0
15.06.2018, 19:17
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661464
kealon(Ruslan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kealon(Ruslan)
Участник
rigor mortis,

задача то какая? восстановление полного генома по отдельным участкам или всё же поиск вхождений из базы?
...
Рейтинг: 0 / 0
15.06.2018, 20:27
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661476
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Leonid Kudryavtsevбудем обсуждать чем битики и байтики в БД MySQL отличаются от битиков и байтиков в PostgreSQL ? :-)

А я объясню. Я считаю что это очень важно. На самом старте ТЗ договорится о терминологии.

Автор пишет.
Код: sql
1.
2.
- геном представляет собой непрерывную цепочку четвертичных бит (ДНК-нуклеотидов), то есть каждый бит может содержать одно из
значений А, Т, Г, Ц;


Четверичных бит? Вы слышали нечто подобное? И я задаю вам дальше вопрос. Мы будем оперировать символами?
Или битами? Битами какими? В нашем общепринятом понимании или в том в котором мыслит топик-стартер.

Далее. По поводу строк и целых чисел. Другой господин в топике пишет
Код: sql
1.
2.
3.
bigint-ами хранить геном под индексами 001 002 003 - как то так
поиск достаточно по первому bigint-у сделать, думаю там уник будет
ну или 2й подключить на крайняк


Отвечу сразу. Никакого смысла. Вообще никакого. Можно искать пользу в экономии места. Но не забывайте
что нам надо двигать шаблон по геному и искать совпадения или частичные совпадения. Как вы их будете искать?
Двигать биты в четверичных целых? Хм... Ну я-б подумал. Для 3 200 000 нуклеотидов мы получим 3-х мегабайтную
строку в классическом представлении + аппарат строковых операций. Или мы можем децл сэкономить и получить
в 4 раза меньше тоесть 3 200 000 / 4 = 800 000 или 800 килобайт упакованных бит. И кучу головняка с тем
как это матчить. Не забывайте что нам надо двигать информацию кратно позиции нуклеотида а не байта.
Вобщем думайте.
...
Рейтинг: 0 / 0
15.06.2018, 23:10
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661485
tip78
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tip78
Участник
mayton, вы утверждаете, что первые 20-40 нуклеотидов не будут уникальными?
...
Рейтинг: 0 / 0
16.06.2018, 00:19
| Ответить | Цитировать | Написать  
СУБД для хранения генома.
    #39661486
kealon(Ruslan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kealon(Ruslan)
Участник
mayton,

вот просто интересно, второй раз за день упоминаю


если мы применим Преобразование Барроуза — Уилера к сохраняемому геному, то вроде уже и не всё так печально с поиском

копать можно в сторону "Суффиксный массив и BWT"

ещё тынц прямо из области ТС
...
Рейтинг: 0 / 0
16.06.2018, 00:21
| Ответить | Цитировать | Написать  
25 сообщений из 56, страница 1 из 3
  1  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / СУБД для хранения генома.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=39659136&tid=1552208]:
 0ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 51ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 68ms
get tp. blocked users:
 2ms
others: 13ms
total:  180ms
созд. / загр.: 180ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]