ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Передача данных из Cassandra в MSSSQL (SSIS?)
11 сообщений из 11, страница 1 из 1
Передача данных из Cassandra в MSSSQL (SSIS?)
    #39164970
IlyaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IlyaT
Гость
Добрый всем день!
Есть база Cassandra в которую пишутся данные в темпе десятки тысяч в секунду. Есть задача переноса этих данных в MSSQL (при возможности прореживать их по дороге)
Изучив все варианты пробую применить MS SSIS и Cassandra ODBC драйвер от DataStax. Почему-то экспортируются только около 10 000 записей за один раз. При этом пакет не выдает никаких ошибок, а корректно завершает работу. В документации на драйвер нигде не нашел описание такого ограничения.
Вопросы:
1. Как переносить большее количество записей за раз с помощью SSIS
2. Какие еще могут быть варианты решения моей проблемы

Буду благодарен за любые советы.
...
Рейтинг: 0 / 0
07.02.2016, 09:29
| Ответить | Цитировать | Написать  
Передача данных из Cassandra в MSSSQL (SSIS?)
    #39165105
кириллk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
кириллk
Участник
IlyaT,

могу предложить идею.

из касандры делать csv файлы и забирать их ssis
...
Рейтинг: 0 / 0
07.02.2016, 18:41
| Ответить | Цитировать | Написать  
Передача данных из Cassandra в MSSSQL (SSIS?)
    #39165128
IlyaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IlyaT
Гость
кириллk,
Да же если не рассматривать производительность: Как делать csv файлы содержащие не всю таблицу?
...
Рейтинг: 0 / 0
07.02.2016, 19:42
| Ответить | Цитировать | Написать  
Передача данных из Cassandra в MSSSQL (SSIS?)
    #39165549
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Winnipuh
Участник
письмо писали авторам одбс в DataStax?
...
Рейтинг: 0 / 0
08.02.2016, 14:09
| Ответить | Цитировать | Написать  
Передача данных из Cassandra в MSSSQL (SSIS?)
    #39165615
Insaned
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Insaned
Гость
Winnipuh,
Нет пока. Если ничего другого не останется - попробую.
...
Рейтинг: 0 / 0
08.02.2016, 14:51
| Ответить | Цитировать | Написать  
Передача данных из Cassandra в MSSSQL (SSIS?)
    #39166606
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Winnipuh
Участник
InsanedWinnipuh,
Нет пока. Если ничего другого не останется - попробую.

это можно делать параллельно ;-)
...
Рейтинг: 0 / 0
09.02.2016, 13:54
| Ответить | Цитировать | Написать  
Передача данных из Cassandra в MSSSQL (SSIS?)
    #39174852
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
IlyaTкириллk,
Да же если не рассматривать производительность: Как делать csv файлы содержащие не всю таблицу?
производительность кстати может быть весьма высока. А внешние таблицы нынче поддерживают все приличные субд
...
Рейтинг: 0 / 0
19.02.2016, 00:51
| Ответить | Цитировать | Написать  
Передача данных из Cassandra в MSSSQL (SSIS?)
    #39174979
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Winnipuh
Участник
IlyaTДобрый всем день!

Вопросы:
1. Как переносить большее количество записей за раз с помощью SSIS
2. Какие еще могут быть варианты решения моей проблемы

Буду благодарен за любые советы.

сколько записей надо переносить?

2. написать прилагалище на c#, которое конектится туда и туда и переносит и фильтрует и т.д.
...
Рейтинг: 0 / 0
19.02.2016, 10:13
| Ответить | Цитировать | Написать  
Передача данных из Cassandra в MSSSQL (SSIS?)
    #39183460
Andrey Sribnyak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andrey Sribnyak
Участник
IlyaT,

Есть куда более простое решение от Microsoft

http://blogs.technet.com/b/dataplatforminsider/archive/2014/06/02/polybase-in-aps-yet-another-sql-over-hadoop-solution.aspx

сейчас доступно во всех Azure версиях, PDW ну и с 16 в обычном SQL Server'e
...
Рейтинг: 0 / 0
02.03.2016, 11:32
| Ответить | Цитировать | Написать  
Передача данных из Cassandra в MSSSQL (SSIS?)
    #39213994
Satyr.net
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Satyr.net
Гость
Друзья,
есть же открытый ETL-tool Talend Open Studio - я с ним довольно долго работал - поддерживает и Cassandra и MSSQL - проблем нет. На выходе можно сгенерить самостоятельный JAR-пакет, который можно запускать из CRON или из планировщика винды
https://www.talend.com/download/talend-open-studio
...
Рейтинг: 0 / 0
12.04.2016, 18:35
| Ответить | Цитировать | Написать  
Передача данных из Cassandra в MSSSQL (SSIS?)
    #39214427
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ролг Хупин
Участник
IlyaTДобрый всем день!
Есть база Cassandra в которую пишутся данные в темпе десятки тысяч в секунду. Есть задача переноса этих данных в MSSQL (при возможности прореживать их по дороге)
Изучив все варианты пробую применить MS SSIS и Cassandra ODBC драйвер от DataStax. Почему-то экспортируются только около 10 000 записей за один раз. При этом пакет не выдает никаких ошибок, а корректно завершает работу. В документации на драйвер нигде не нашел описание такого ограничения.
Вопросы:
1. Как переносить большее количество записей за раз с помощью SSIS
2. Какие еще могут быть варианты решения моей проблемы

Буду благодарен за любые советы.

Так переносите по 10 тыщ, мелкими частями, если миллионы записей за раз тянуть будут длинные запросы и т.д.
Или напишите свое приложение на шарпе, которое будет читать, фильтровать, писать ...
...
Рейтинг: 0 / 0
13.04.2016, 11:13
| Ответить | Цитировать | Написать  
11 сообщений из 11, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Передача данных из Cassandra в MSSSQL (SSIS?)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=48&fpage=7&tid=1856761]:
 0ms
get settings:
 12ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 53ms
get topic data:
 14ms
get forum data:
 3ms
get page messages:
 52ms
get tp. blocked users:
 2ms
others: 249ms
total:  408ms
созд. / загр.: 408ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]