|
Cassandra: как работает SSTableLoader?
|
|||
---|---|---|---|
#18+
Через какой механизм клиент может быстро грузить данные? Можно ли через CQL так же или похожим образом загружать sstable в базу? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.08.2013, 10:53 |
|
Cassandra: как работает SSTableLoader?
|
|||
---|---|---|---|
#18+
Я так понимаю, грузить данные можно по идее через утилиту sstableloader : The sstableloader tool provides the ability to bulk load external data into a cluster, load existing SSTables into another cluster with a different number nodes or replication strategy, and restore snapshots. Вот еще информация из их блога для разработчиков: http://www.datastax.com/dev/blog/bulk-loading ... |
|||
:
Нравится:
Не нравится:
|
|||
21.08.2013, 00:44 |
|
Cassandra: как работает SSTableLoader?
|
|||
---|---|---|---|
#18+
да, через нее, она идет в составе самой кассандры. А вот как мне из своего приложеинря на с++ сделать такую загрузку? Через CQL я делаю, но это не бульк. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.08.2013, 15:16 |
|
Cassandra: как работает SSTableLoader?
|
|||
---|---|---|---|
#18+
ASCRUSЯ так понимаю, грузить данные можно по идее через утилиту sstableloader : The sstableloader tool provides the ability to bulk load external data into a cluster, load existing SSTables into another cluster with a different number nodes or replication strategy, and restore snapshots. Вот еще информация из их блога для разработчиков: http://www.datastax.com/dev/blog/bulk-loading да, но в омем случае мне бу надо из своего с++ приложения. На сейчас получается такой вопрос: как из с++ приложения коннектнуться к кассандровому MessagingService и передать данные по его протоколу? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2013, 15:31 |
|
Cassandra: как работает SSTableLoader?
|
|||
---|---|---|---|
#18+
Как вариант можно просто с программы через командную строку вызывать загрузчик. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.08.2013, 00:27 |
|
Cassandra: как работает SSTableLoader?
|
|||
---|---|---|---|
#18+
ASCRUSКак вариант можно просто с программы через командную строку вызывать загрузчик. да, согласен, но есть недостатки: 1. потребуется ставить Java runtime 2. нужно грузить таблицы из памяти, скажем читаемые из другого места. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.08.2013, 01:07 |
|
Cassandra: как работает SSTableLoader?
|
|||
---|---|---|---|
#18+
Winnipuh, 14 сентября будет ивент в Москве по Кассандре, если получится, я планирую сходить. Попробую там задать Ваш вопрос. Сам я пока Кассандру знаю на примитивном уровне, мы пока только ее разворачиваем для изучения. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.08.2013, 00:06 |
|
Cassandra: как работает SSTableLoader?
|
|||
---|---|---|---|
#18+
ASCRUSWinnipuh, 14 сентября будет ивент в Москве по Кассандре, если получится, я планирую сходить. Попробую там задать Ваш вопрос. Сам я пока Кассандру знаю на примитивном уровне, мы пока только ее разворачиваем для изучения. круто! буду ждать ответа. Я к тому времени возможно подкину еще пару вопросов ;) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.08.2013, 14:11 |
|
Cassandra: как работает SSTableLoader?
|
|||
---|---|---|---|
#18+
ASCRUSWinnipuh, 14 сентября будет ивент в Москве по Кассандре, если получится, я планирую сходить. Попробую там задать Ваш вопрос. Сам я пока Кассандру знаю на примитивном уровне, мы пока только ее разворачиваем для изучения. а вот еще: есть в конфигурации кассандры такой порт storage_port=7000, это порт как написано для команд и данных. На нем стартует внутри сервера MessagingService. Не могу даже тестовой утилитой коннектнуться к этому порту. Т.е. если скажем на 9160 коннект проходит, то на 7000 сразу же идет ошибка 10061. Как проверить почему нельзя коннектиться извне к нему своим приложением? Я хотел бы коннектнуться к нему из своего с++ приложения. В то же время скажем при загрузке данных утилита работает с ним. Я вотладчике прошел по серверу. Там правда через джавовский SocketChannel, стрим и т.д.. но коннект то должен работать.... ... |
|||
:
Нравится:
Не нравится:
|
|||
29.08.2013, 09:41 |
|
Cassandra: как работает SSTableLoader?
|
|||
---|---|---|---|
#18+
исправление к предыдущему вопросу, точнее так: есть ли описание протокола, чтобы я мог из своего с++ приложения коннектнуться к MessagingService и работать с ним напрямую? Например, делать bulk загрузку ss таблиц. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.08.2013, 10:19 |
|
Cassandra: как работает SSTableLoader?
|
|||
---|---|---|---|
#18+
WinnipuhASCRUSКак вариант можно просто с программы через командную строку вызывать загрузчик. да, согласен, но есть недостатки: 1. потребуется ставить Java runtime 2. нужно грузить таблицы из памяти, скажем читаемые из другого места. Еще вопрос: Кстати, вышла версия 2.0. будет ли CQL видеть и понимать таблицы, созданные не в CQL? в какой-то вресии 1.*, если создать CF не через CQL, то при обращении к ней или проверке в схемах CQL не видит такую таблицу. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.09.2013, 16:13 |
|
Cassandra: как работает SSTableLoader?
|
|||
---|---|---|---|
#18+
WinnipuhWinnipuhпропущено... да, согласен, но есть недостатки: 1. потребуется ставить Java runtime 2. нужно грузить таблицы из памяти, скажем читаемые из другого места. Еще вопрос: Кстати, вышла версия 2.0. будет ли CQL видеть и понимать таблицы, созданные не в CQL? в какой-то вресии 1.*, если создать CF не через CQL, то при обращении к ней или проверке в схемах CQL не видит такую таблицу. Привет. Был в субботу на ивенте. Касательно вопросов: 1. Балк лоад можно юзать утилитой или через нативный клиент через классы Java; 2. Порт 7000 внутренний для общения и координацией нод между собой, он не используется официально для клиентского подключения; 3. В второй версии Кассандры можно видеть из под CQL структуры, созданные не в нем. Так же в нативном клиенте теперь есть поддержка Batch PreparedStatement, которая позволяет проводить пакетные вставки и обновления данных с большей скоростью, чем одиночные и на пакет есть понятие атомарности. Вот, что мне удалось узнать. Насчет с++ все таки особо никто точно ничего ответить не смог, основной инструмент докладчиков и присутствующих был все таки Java. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.09.2013, 12:05 |
|
|
start [/forum/topic.php?fid=48&gotonew=1&tid=1856926]: |
0ms |
get settings: |
21ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
42ms |
get topic data: |
13ms |
get first new msg: |
151ms |
get forum data: |
3ms |
get page messages: |
209ms |
get tp. blocked users: |
2ms |
others: | 325ms |
total: | 789ms |
0 / 0 |