powered by simpleCommunicator - 2.0.29     © 2024 Programmizd 02
Map
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Apache Cassandra
29 сообщений из 29, показаны все 2 страниц
Apache Cassandra
    #36873910
vie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Использование в новом проекте noSql субд Apache Cassandra.
За и против?
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874028
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vieИспользование в новом проекте noSql субд Apache Cassandra.
За и против?а в тестах гонял? почему планируете noSql, а не РСУБД?
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874246
Фотография grasoff.net
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874255
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот здесь хорошее обсуждение.
http://rsdn.ru/forum/db/3952099.aspx
Для начала действительно стоит задуматься а все ли ваши задачи ложатся на NoSQL базу. А так же действительно ли вы ожидаете от своего проекта на столько большие нагрузки, что RDBMS не справится?
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874333
ТимоН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
на хабре есть статьи/обзоры.
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874445
vie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VoDA,

тесты гонял на Thrift клиенте, но с небольшими обьемами тестовых данных на одной FamilyColumn. На таких данных не видно преимущество с реляционкой.

Выбрал кассандру, тк проект не с нуля. Есть асу одной гос организации, которая разрабатывалась лет 25 назад на языке clipper и до сих пор работает. Обьемы данных порядка нескольких миллионов записей. Оптимизирована она под поиск по различным параметрам. Вот ее и надо переписать, а поскольку бизнес логика по большей части известна, и изменяться координально не будет, решил попробовать column oriented субд. Из наиболее известных и развивающихся считаю именно апачевский продукт.
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874453
vie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Blazkowicz,

По нагрузкам конечно рсубд вполне справится но приоритет стоит на скорости поиска. Судя по обзорам, у column-oriented субд здесь преимущество
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874614
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТимоНна хабре есть статьи/обзоры.ага, читал. сложилось мнение, что неудобства noSql начинают окупаться когда количество железных серверов на которых крутятся данные переваливает за 3-5 штук, т.е. обработка не может уложиться в 1-2-3 сервера СУБД.

а пока влезает - проще и дешевле использовать РСУБД.
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874629
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vieВот ее и надо переписать, а поскольку бизнес логика по большей части известна, и изменяться координально не будет, решил попробовать column oriented субд. Из наиболее известных и развивающихся считаю именно апачевский продукт.А как планируете бороться с неконсистентностью данных? Cassandra - Eventually‐consistent СУБД, что может вносит некоторые нюансы или у вас бизнес-логика толерантна к временной неконсистентности в данных?
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874651
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vieBlazkowicz,

По нагрузкам конечно рсубд вполне справится но приоритет стоит на скорости поиска. Судя по обзорам, у column-oriented субд здесь преимуществоони выигрывают по поиску по ключу? а как там с поиском по внутренним данным лежащим в value?

в РСУБД можно кластеризовать таблицу по текстовому полю - насколько noSql будет быстрее в этом случае? и за счет чего?
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874654
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vieПо нагрузкам конечно рсубд вполне справится но приоритет стоит на скорости поиска. Судя по обзорам, у column-oriented субд здесь преимущество
Ой ли?
http://rsdn.ru/forum/db/3955442.aspx
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874695
vie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VoDA,

Логично было бы контролировать целостность данных либо в dao слое приложения, либо в некоем Persistence Api, работающем с trift-ом. Ничего другого в голову не приходит
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874853
vie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VoDA,

http://github.com/tjake/Lucandra, не?
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874869
vie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VoDAvieBlazkowicz,

По нагрузкам конечно рсубд вполне справится но приоритет стоит на скорости поиска. Судя по обзорам, у column-oriented субд здесь преимуществоони выигрывают по поиску по ключу? а как там с поиском по внутренним данным лежащим в value?

в РСУБД можно кластеризовать таблицу по текстовому полю - насколько noSql будет быстрее в этом случае? и за счет чего?

имеетя ввиду что для облегчения индексирования есть надстройка Lucene над кассандрой: http://github.com/tjake/Lucandra
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874914
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vieVoDA,

Логично было бы контролировать целостность данных либо в dao слое приложения, либо в некоем Persistence Api, работающем с trift-ом. Ничего другого в голову не приходитПерефразирую:

>> Как вы планируете гарантировать транзакционную целостностность в MySQL/MYISAM?
> Логично было бы контролировать тразакции либо в dao слое приложения, либо в некоем Persistence Api

о_О только мне это кажется слегка проблемным?
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874969
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vieVoDAони выигрывают по поиску по ключу? а как там с поиском по внутренним данным лежащим в value?
в РСУБД можно кластеризовать таблицу по текстовому полю - насколько noSql будет быстрее в этом случае? и за счет чего?

имеетя ввиду что для облегчения индексирования есть надстройка Lucene над кассандрой: http://github.com/tjake/LucandraLucene - полнотекстовый поиск. Lucandra это использование Saccandra в качестве хранилища. Зададимся вопросом ЗАЧЕМ?

Из доки Lucandra:
Initially we implemented Lucene support with supercolumn as described but ran into a scaling issue when we tried to index all of wikipedia .

Да, если проиндексировать настолько много, то в одну железку данные не влезут - тут и помогает костыль распределенных noSql. они проще размазываются на нескольким железкам.

Дальше стоит учесть, что малая неконсистентность данных поискового индекса на wikipedia приемлема. Некоторая степень неконсистентности приемлема для любой соц-сети или соц-системы, но часто не подходит для систем уровня предприятия.
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874982
vie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VoDA
>> Как вы планируете гарантировать транзакционную целостностность в MySQL/MYISAM?


Причем здесь MySQL/MYISAM? Как можно еще гарантировать целостность без поддержки внешних ключей и транзакций в субд, кроме как самому ставить блокировки/очереди и последовательно изменять данные?
...
Рейтинг: 0 / 0
Apache Cassandra
    #36874994
vie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VoDA
Дальше стоит учесть, что малая неконсистентность данных поискового индекса на wikipedia приемлема. Некоторая степень неконсистентности приемлема для любой соц-сети или соц-системы, но часто не подходит для систем уровня предприятия.

Поясните пожалуйста на примере
...
Рейтинг: 0 / 0
Apache Cassandra
    #36875072
vie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VoDAvieВот ее и надо переписать, а поскольку бизнес логика по большей части известна, и изменяться координально не будет, решил попробовать column oriented субд. Из наиболее известных и развивающихся считаю именно апачевский продукт.А как планируете бороться с неконсистентностью данных? Cassandra - Eventually‐consistent СУБД, что может вносит некоторые нюансы или у вас бизнес-логика толерантна к временной неконсистентности в данных?


Кстати вот нашел готовое решение для связки cassandra + hadoop:
http://ria101.wordpress.com/2010/05/12/locking-and-transactions-over-cassandra-using-cages/
...
Рейтинг: 0 / 0
Apache Cassandra
    #36875172
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vieVoDA
>> Как вы планируете гарантировать транзакционную целостностность в MySQL/MYISAM?


Причем здесь MySQL/MYISAM? Как можно еще гарантировать целостность без поддержки внешних ключей и транзакций в субд, кроме как самому ставить блокировки/очереди и последовательно изменять данные?Пытаюсь показать на ином примере.

Так вот система которая "самому ставить блокировки/очереди и последовательно изменять данные" и есть СУБД. Т.е. ваш dao слой приложения или Persistence Api получится ОЧЕНЬ сложным. проще взять СУБД которая уже это умеет ;)
...
Рейтинг: 0 / 0
Apache Cassandra
    #36875202
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vieVoDA
Дальше стоит учесть, что малая неконсистентность данных поискового индекса на wikipedia приемлема. Некоторая степень неконсистентности приемлема для любой соц-сети или соц-системы, но часто не подходит для систем уровня предприятия.Поясните пожалуйста на примере

ОК. есть сайт вконтакте. если пользователь Вася послал сообщение Пете, в тот же момент Петя проверяет входящие, но сообщения там нет. Даже если сообщение не дойдет до Пети он продолжит пользоваться вконтактом.

Еще википедия. Даже если одна из страниц была проиндексированна, но не попала в поиск википедии, этим проектов не прекратят пользоваться.

Для предприятий ситуация может быть иной. Если есть проводка или другой официальный документ, то он должен попасть в поиск в любом случае. Либо есть либо система не работает и заменяется на другую.
...
Рейтинг: 0 / 0
Apache Cassandra
    #36875254
vie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VoDA,

Ок, т.е вы считаете, что неудобство работы с данной субд превышает ее преимущества перед реляционными субд?
...
Рейтинг: 0 / 0
Apache Cassandra
    #36875425
VoDA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vieVoDA,

Ок, т.е вы считаете, что неудобство работы с данной субд превышает ее преимущества перед реляционными субд?я не могу судить - не применял, только читал про особенности. А также кто создал и для каких целей. Cassandra была создана для того чтобы заменить ферму разрозненных MySQL + memcached в единую систему с возможностью автоматической баллансировки, прозрачного добавления нод и т.п. Создал ее Facebook (довольно таки большая соц-сеть) для своих очень специфичных нужд.

Подойдет ли Cassandra для вашего проекта - решать не мне. Я бы хотел, чтобы ты его применил и рассказал о преимуществах / недостатках на реальном проекте =))) но стараюсь быть объективным и указать что знаю и помочь разобраться ;)
...
Рейтинг: 0 / 0
Apache Cassandra
    #36875449
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vie,

если использовать кластерный индекс, то у нее нет основного преимущества - скорости.
...
Рейтинг: 0 / 0
Apache Cassandra
    #36875521
vie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В общем пока проект на стадии проектирования модели данных, до сих пор еще не решил, кассандра или оракл. Построю модель, залью данные и буду тестировать. В любом случае проект не будет зависеть от конкретно бд, только в дао слое.

Как будут результаты, отпишусь что и как
...
Рейтинг: 0 / 0
Apache Cassandra
    #36875589
Leonidv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня такое впечатление складывается, что для большинства проектом разумнее использовать RDBMS, или RDBMS+noSql. В noSql хранить данные, которые именно там и нужно хранить.
...
Рейтинг: 0 / 0
Apache Cassandra
    #36875698
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vieкассандра или оракл.
.....
проект не будет зависеть от конкретно бд, только в дао слое.

оракл - не бесплатная БД. Не вижу логики, купить БД не дёшево и ... использовать в роли access
....
Сначала лучше ТЗ написать, а потом БД подбирать. А то получится, что главное "транзакционность" и целостность, как сказал VoDA....
и расширяемость после _терабайта_ данных, дело десятое.

Модератор: Тема перенесена из форума "Java".
...
Рейтинг: 0 / 0
Apache Cassandra
    #36967436
private
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
касандра - это когда у вас столько данных и запросов к ним что ни на одном компютере ни на кластере с репликами они больше не помешаются. Тогда вы выбираете кассандру, смотрите что такое eventual consistency и думаете как с этим работать.
...
Рейтинг: 0 / 0
Apache Cassandra
    #36967499
an0nym
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
privateкасандра - это когда у вас столько данных и запросов к ним что ни на одном компютере ни на кластере с репликами они больше не помешаются. Тогда вы выбираете кассандру, смотрите что такое eventual consistency и думаете как с этим работать.
CONSTISTENCY.QUORUM с вами не согласно.
...
Рейтинг: 0 / 0
29 сообщений из 29, показаны все 2 страниц
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Apache Cassandra
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]