powered by simpleCommunicator - 2.0.27     © 2024 Programmizd 02
Map
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Cassandra: как работает SSTableLoader?
13 сообщений из 13, страница 1 из 1
Cassandra: как работает SSTableLoader?
    #38370371
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Через какой механизм клиент может быстро грузить данные?
Можно ли через CQL так же или похожим образом загружать sstable в базу?
...
Рейтинг: 0 / 0
Cassandra: как работает SSTableLoader?
    #38372624
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я так понимаю, грузить данные можно по идее через утилиту sstableloader :
The sstableloader tool provides the ability to bulk load external data into a cluster, load existing SSTables into another cluster with a different number nodes or replication strategy, and restore snapshots.


Вот еще информация из их блога для разработчиков:
http://www.datastax.com/dev/blog/bulk-loading
...
Рейтинг: 0 / 0
Cassandra: как работает SSTableLoader?
    #38373430
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
да, через нее, она идет в составе самой кассандры.
А вот как мне из своего приложеинря на с++ сделать такую загрузку?
Через CQL я делаю, но это не бульк.
...
Рейтинг: 0 / 0
Cassandra: как работает SSTableLoader?
    #38376568
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSЯ так понимаю, грузить данные можно по идее через утилиту sstableloader :
The sstableloader tool provides the ability to bulk load external data into a cluster, load existing SSTables into another cluster with a different number nodes or replication strategy, and restore snapshots.


Вот еще информация из их блога для разработчиков:
http://www.datastax.com/dev/blog/bulk-loading


да, но в омем случае мне бу надо из своего с++ приложения.
На сейчас получается такой вопрос:

как из с++ приложения коннектнуться к кассандровому MessagingService и передать данные по его протоколу?
...
Рейтинг: 0 / 0
Cassandra: как работает SSTableLoader?
    #38376743
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Как вариант можно просто с программы через командную строку вызывать загрузчик.
...
Рейтинг: 0 / 0
Cassandra: как работает SSTableLoader?
    #38376749
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSКак вариант можно просто с программы через командную строку вызывать загрузчик.

да, согласен, но есть недостатки:

1. потребуется ставить Java runtime
2. нужно грузить таблицы из памяти, скажем читаемые из другого места.
...
Рейтинг: 0 / 0
Cassandra: как работает SSTableLoader?
    #38377037
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Winnipuh,

14 сентября будет ивент в Москве по Кассандре, если получится, я планирую сходить. Попробую там задать Ваш вопрос. Сам я пока Кассандру знаю на примитивном уровне, мы пока только ее разворачиваем для изучения.
...
Рейтинг: 0 / 0
Cassandra: как работает SSTableLoader?
    #38377436
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSWinnipuh,

14 сентября будет ивент в Москве по Кассандре, если получится, я планирую сходить. Попробую там задать Ваш вопрос. Сам я пока Кассандру знаю на примитивном уровне, мы пока только ее разворачиваем для изучения.

круто! буду ждать ответа.
Я к тому времени возможно подкину еще пару вопросов ;)
...
Рейтинг: 0 / 0
Cassandra: как работает SSTableLoader?
    #38380606
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ASCRUSWinnipuh,

14 сентября будет ивент в Москве по Кассандре, если получится, я планирую сходить. Попробую там задать Ваш вопрос. Сам я пока Кассандру знаю на примитивном уровне, мы пока только ее разворачиваем для изучения.

а вот еще:

есть в конфигурации кассандры такой порт storage_port=7000,
это порт как написано для команд и данных.

На нем стартует внутри сервера MessagingService.

Не могу даже тестовой утилитой коннектнуться к этому порту.
Т.е. если скажем на 9160 коннект проходит, то на 7000 сразу же идет ошибка 10061.

Как проверить почему нельзя коннектиться извне к нему своим приложением?
Я хотел бы коннектнуться к нему из своего с++ приложения.

В то же время скажем при загрузке данных утилита работает с ним. Я вотладчике прошел по серверу.
Там правда через джавовский SocketChannel, стрим и т.д.. но коннект то должен работать....
...
Рейтинг: 0 / 0
Cassandra: как работает SSTableLoader?
    #38380643
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
исправление к предыдущему вопросу, точнее так:

есть ли описание протокола, чтобы я мог из своего с++ приложения коннектнуться к MessagingService и работать с ним напрямую? Например, делать bulk загрузку ss таблиц.
...
Рейтинг: 0 / 0
Cassandra: как работает SSTableLoader?
    #38386900
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WinnipuhASCRUSКак вариант можно просто с программы через командную строку вызывать загрузчик.

да, согласен, но есть недостатки:

1. потребуется ставить Java runtime
2. нужно грузить таблицы из памяти, скажем читаемые из другого места.

Еще вопрос:

Кстати, вышла версия 2.0.
будет ли CQL видеть и понимать таблицы, созданные не в CQL?
в какой-то вресии 1.*, если создать CF не через CQL, то при обращении к ней или проверке в схемах CQL не видит такую таблицу.
...
Рейтинг: 0 / 0
Cassandra: как работает SSTableLoader?
    #38397537
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
WinnipuhWinnipuhпропущено...


да, согласен, но есть недостатки:

1. потребуется ставить Java runtime
2. нужно грузить таблицы из памяти, скажем читаемые из другого места.

Еще вопрос:

Кстати, вышла версия 2.0.
будет ли CQL видеть и понимать таблицы, созданные не в CQL?
в какой-то вресии 1.*, если создать CF не через CQL, то при обращении к ней или проверке в схемах CQL не видит такую таблицу.
Привет. Был в субботу на ивенте. Касательно вопросов:
1. Балк лоад можно юзать утилитой или через нативный клиент через классы Java;
2. Порт 7000 внутренний для общения и координацией нод между собой, он не используется официально для клиентского подключения;
3. В второй версии Кассандры можно видеть из под CQL структуры, созданные не в нем. Так же в нативном клиенте теперь есть поддержка Batch PreparedStatement, которая позволяет проводить пакетные вставки и обновления данных с большей скоростью, чем одиночные и на пакет есть понятие атомарности.

Вот, что мне удалось узнать. Насчет с++ все таки особо никто точно ничего ответить не смог, основной инструмент докладчиков и присутствующих был все таки Java.
...
Рейтинг: 0 / 0
Cassandra: как работает SSTableLoader?
    #38410446
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 ASCRUS

спасибо!
...
Рейтинг: 0 / 0
13 сообщений из 13, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Cassandra: как работает SSTableLoader?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]