Гость
Map
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Apache Cassandra / 25 сообщений из 29, страница 1 из 2
30.09.2010, 11:19
    #36873910
vie
vie
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
Использование в новом проекте noSql субд Apache Cassandra.
За и против?
...
Рейтинг: 0 / 0
30.09.2010, 11:51
    #36874028
VoDA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
vieИспользование в новом проекте noSql субд Apache Cassandra.
За и против?а в тестах гонял? почему планируете noSql, а не РСУБД?
...
Рейтинг: 0 / 0
30.09.2010, 12:54
    #36874246
grasoff.net
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
...
Рейтинг: 0 / 0
30.09.2010, 12:56
    #36874255
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
Вот здесь хорошее обсуждение.
http://rsdn.ru/forum/db/3952099.aspx
Для начала действительно стоит задуматься а все ли ваши задачи ложатся на NoSQL базу. А так же действительно ли вы ожидаете от своего проекта на столько большие нагрузки, что RDBMS не справится?
...
Рейтинг: 0 / 0
30.09.2010, 13:19
    #36874333
ТимоН
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
на хабре есть статьи/обзоры.
...
Рейтинг: 0 / 0
30.09.2010, 13:56
    #36874445
vie
vie
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
VoDA,

тесты гонял на Thrift клиенте, но с небольшими обьемами тестовых данных на одной FamilyColumn. На таких данных не видно преимущество с реляционкой.

Выбрал кассандру, тк проект не с нуля. Есть асу одной гос организации, которая разрабатывалась лет 25 назад на языке clipper и до сих пор работает. Обьемы данных порядка нескольких миллионов записей. Оптимизирована она под поиск по различным параметрам. Вот ее и надо переписать, а поскольку бизнес логика по большей части известна, и изменяться координально не будет, решил попробовать column oriented субд. Из наиболее известных и развивающихся считаю именно апачевский продукт.
...
Рейтинг: 0 / 0
30.09.2010, 13:59
    #36874453
vie
vie
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
Blazkowicz,

По нагрузкам конечно рсубд вполне справится но приоритет стоит на скорости поиска. Судя по обзорам, у column-oriented субд здесь преимущество
...
Рейтинг: 0 / 0
30.09.2010, 14:49
    #36874614
VoDA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
ТимоНна хабре есть статьи/обзоры.ага, читал. сложилось мнение, что неудобства noSql начинают окупаться когда количество железных серверов на которых крутятся данные переваливает за 3-5 штук, т.е. обработка не может уложиться в 1-2-3 сервера СУБД.

а пока влезает - проще и дешевле использовать РСУБД.
...
Рейтинг: 0 / 0
30.09.2010, 14:54
    #36874629
VoDA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
vieВот ее и надо переписать, а поскольку бизнес логика по большей части известна, и изменяться координально не будет, решил попробовать column oriented субд. Из наиболее известных и развивающихся считаю именно апачевский продукт.А как планируете бороться с неконсистентностью данных? Cassandra - Eventually‐consistent СУБД, что может вносит некоторые нюансы или у вас бизнес-логика толерантна к временной неконсистентности в данных?
...
Рейтинг: 0 / 0
30.09.2010, 14:58
    #36874651
VoDA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
vieBlazkowicz,

По нагрузкам конечно рсубд вполне справится но приоритет стоит на скорости поиска. Судя по обзорам, у column-oriented субд здесь преимуществоони выигрывают по поиску по ключу? а как там с поиском по внутренним данным лежащим в value?

в РСУБД можно кластеризовать таблицу по текстовому полю - насколько noSql будет быстрее в этом случае? и за счет чего?
...
Рейтинг: 0 / 0
30.09.2010, 14:58
    #36874654
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
vieПо нагрузкам конечно рсубд вполне справится но приоритет стоит на скорости поиска. Судя по обзорам, у column-oriented субд здесь преимущество
Ой ли?
http://rsdn.ru/forum/db/3955442.aspx
...
Рейтинг: 0 / 0
30.09.2010, 15:05
    #36874695
vie
vie
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
VoDA,

Логично было бы контролировать целостность данных либо в dao слое приложения, либо в некоем Persistence Api, работающем с trift-ом. Ничего другого в голову не приходит
...
Рейтинг: 0 / 0
30.09.2010, 15:40
    #36874853
vie
vie
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
VoDA,

http://github.com/tjake/Lucandra, не?
...
Рейтинг: 0 / 0
30.09.2010, 15:44
    #36874869
vie
vie
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
VoDAvieBlazkowicz,

По нагрузкам конечно рсубд вполне справится но приоритет стоит на скорости поиска. Судя по обзорам, у column-oriented субд здесь преимуществоони выигрывают по поиску по ключу? а как там с поиском по внутренним данным лежащим в value?

в РСУБД можно кластеризовать таблицу по текстовому полю - насколько noSql будет быстрее в этом случае? и за счет чего?

имеетя ввиду что для облегчения индексирования есть надстройка Lucene над кассандрой: http://github.com/tjake/Lucandra
...
Рейтинг: 0 / 0
30.09.2010, 15:53
    #36874914
VoDA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
vieVoDA,

Логично было бы контролировать целостность данных либо в dao слое приложения, либо в некоем Persistence Api, работающем с trift-ом. Ничего другого в голову не приходитПерефразирую:

>> Как вы планируете гарантировать транзакционную целостностность в MySQL/MYISAM?
> Логично было бы контролировать тразакции либо в dao слое приложения, либо в некоем Persistence Api

о_О только мне это кажется слегка проблемным?
...
Рейтинг: 0 / 0
30.09.2010, 16:08
    #36874969
VoDA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
vieVoDAони выигрывают по поиску по ключу? а как там с поиском по внутренним данным лежащим в value?
в РСУБД можно кластеризовать таблицу по текстовому полю - насколько noSql будет быстрее в этом случае? и за счет чего?

имеетя ввиду что для облегчения индексирования есть надстройка Lucene над кассандрой: http://github.com/tjake/LucandraLucene - полнотекстовый поиск. Lucandra это использование Saccandra в качестве хранилища. Зададимся вопросом ЗАЧЕМ?

Из доки Lucandra:
Initially we implemented Lucene support with supercolumn as described but ran into a scaling issue when we tried to index all of wikipedia .

Да, если проиндексировать настолько много, то в одну железку данные не влезут - тут и помогает костыль распределенных noSql. они проще размазываются на нескольким железкам.

Дальше стоит учесть, что малая неконсистентность данных поискового индекса на wikipedia приемлема. Некоторая степень неконсистентности приемлема для любой соц-сети или соц-системы, но часто не подходит для систем уровня предприятия.
...
Рейтинг: 0 / 0
30.09.2010, 16:11
    #36874982
vie
vie
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
VoDA
>> Как вы планируете гарантировать транзакционную целостностность в MySQL/MYISAM?


Причем здесь MySQL/MYISAM? Как можно еще гарантировать целостность без поддержки внешних ключей и транзакций в субд, кроме как самому ставить блокировки/очереди и последовательно изменять данные?
...
Рейтинг: 0 / 0
30.09.2010, 16:15
    #36874994
vie
vie
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
VoDA
Дальше стоит учесть, что малая неконсистентность данных поискового индекса на wikipedia приемлема. Некоторая степень неконсистентности приемлема для любой соц-сети или соц-системы, но часто не подходит для систем уровня предприятия.

Поясните пожалуйста на примере
...
Рейтинг: 0 / 0
30.09.2010, 16:39
    #36875072
vie
vie
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
VoDAvieВот ее и надо переписать, а поскольку бизнес логика по большей части известна, и изменяться координально не будет, решил попробовать column oriented субд. Из наиболее известных и развивающихся считаю именно апачевский продукт.А как планируете бороться с неконсистентностью данных? Cassandra - Eventually‐consistent СУБД, что может вносит некоторые нюансы или у вас бизнес-логика толерантна к временной неконсистентности в данных?


Кстати вот нашел готовое решение для связки cassandra + hadoop:
http://ria101.wordpress.com/2010/05/12/locking-and-transactions-over-cassandra-using-cages/
...
Рейтинг: 0 / 0
30.09.2010, 17:04
    #36875172
VoDA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
vieVoDA
>> Как вы планируете гарантировать транзакционную целостностность в MySQL/MYISAM?


Причем здесь MySQL/MYISAM? Как можно еще гарантировать целостность без поддержки внешних ключей и транзакций в субд, кроме как самому ставить блокировки/очереди и последовательно изменять данные?Пытаюсь показать на ином примере.

Так вот система которая "самому ставить блокировки/очереди и последовательно изменять данные" и есть СУБД. Т.е. ваш dao слой приложения или Persistence Api получится ОЧЕНЬ сложным. проще взять СУБД которая уже это умеет ;)
...
Рейтинг: 0 / 0
30.09.2010, 17:13
    #36875202
VoDA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
vieVoDA
Дальше стоит учесть, что малая неконсистентность данных поискового индекса на wikipedia приемлема. Некоторая степень неконсистентности приемлема для любой соц-сети или соц-системы, но часто не подходит для систем уровня предприятия.Поясните пожалуйста на примере

ОК. есть сайт вконтакте. если пользователь Вася послал сообщение Пете, в тот же момент Петя проверяет входящие, но сообщения там нет. Даже если сообщение не дойдет до Пети он продолжит пользоваться вконтактом.

Еще википедия. Даже если одна из страниц была проиндексированна, но не попала в поиск википедии, этим проектов не прекратят пользоваться.

Для предприятий ситуация может быть иной. Если есть проводка или другой официальный документ, то он должен попасть в поиск в любом случае. Либо есть либо система не работает и заменяется на другую.
...
Рейтинг: 0 / 0
30.09.2010, 17:28
    #36875254
vie
vie
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
VoDA,

Ок, т.е вы считаете, что неудобство работы с данной субд превышает ее преимущества перед реляционными субд?
...
Рейтинг: 0 / 0
30.09.2010, 18:23
    #36875425
VoDA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
vieVoDA,

Ок, т.е вы считаете, что неудобство работы с данной субд превышает ее преимущества перед реляционными субд?я не могу судить - не применял, только читал про особенности. А также кто создал и для каких целей. Cassandra была создана для того чтобы заменить ферму разрозненных MySQL + memcached в единую систему с возможностью автоматической баллансировки, прозрачного добавления нод и т.п. Создал ее Facebook (довольно таки большая соц-сеть) для своих очень специфичных нужд.

Подойдет ли Cassandra для вашего проекта - решать не мне. Я бы хотел, чтобы ты его применил и рассказал о преимуществах / недостатках на реальном проекте =))) но стараюсь быть объективным и указать что знаю и помочь разобраться ;)
...
Рейтинг: 0 / 0
30.09.2010, 18:35
    #36875449
Petro123
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
vie,

если использовать кластерный индекс, то у нее нет основного преимущества - скорости.
...
Рейтинг: 0 / 0
30.09.2010, 19:18
    #36875521
vie
vie
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apache Cassandra
В общем пока проект на стадии проектирования модели данных, до сих пор еще не решил, кассандра или оракл. Построю модель, залью данные и буду тестировать. В любом случае проект не будет зависеть от конкретно бд, только в дао слое.

Как будут результаты, отпишусь что и как
...
Рейтинг: 0 / 0
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Apache Cassandra / 25 сообщений из 29, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]