Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
07.02.2016, 09:29
|
|||
|---|---|---|---|
|
|||
Передача данных из Cassandra в MSSSQL (SSIS?) |
|||
|
#18+
Добрый всем день! Есть база Cassandra в которую пишутся данные в темпе десятки тысяч в секунду. Есть задача переноса этих данных в MSSQL (при возможности прореживать их по дороге) Изучив все варианты пробую применить MS SSIS и Cassandra ODBC драйвер от DataStax. Почему-то экспортируются только около 10 000 записей за один раз. При этом пакет не выдает никаких ошибок, а корректно завершает работу. В документации на драйвер нигде не нашел описание такого ограничения. Вопросы: 1. Как переносить большее количество записей за раз с помощью SSIS 2. Какие еще могут быть варианты решения моей проблемы Буду благодарен за любые советы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
07.02.2016, 18:41
|
|||
|---|---|---|---|
Передача данных из Cassandra в MSSSQL (SSIS?) |
|||
|
#18+
IlyaT, могу предложить идею. из касандры делать csv файлы и забирать их ssis ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
07.02.2016, 19:42
|
|||
|---|---|---|---|
|
|||
Передача данных из Cassandra в MSSSQL (SSIS?) |
|||
|
#18+
кириллk, Да же если не рассматривать производительность: Как делать csv файлы содержащие не всю таблицу? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.02.2016, 14:09
|
|||
|---|---|---|---|
Передача данных из Cassandra в MSSSQL (SSIS?) |
|||
|
#18+
письмо писали авторам одбс в DataStax? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
08.02.2016, 14:51
|
|||
|---|---|---|---|
|
|||
Передача данных из Cassandra в MSSSQL (SSIS?) |
|||
|
#18+
Winnipuh, Нет пока. Если ничего другого не останется - попробую. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
09.02.2016, 13:54
|
|||
|---|---|---|---|
Передача данных из Cassandra в MSSSQL (SSIS?) |
|||
|
#18+
InsanedWinnipuh, Нет пока. Если ничего другого не останется - попробую. это можно делать параллельно ;-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.02.2016, 00:51
|
|||
|---|---|---|---|
|
|||
Передача данных из Cassandra в MSSSQL (SSIS?) |
|||
|
#18+
IlyaTкириллk, Да же если не рассматривать производительность: Как делать csv файлы содержащие не всю таблицу? производительность кстати может быть весьма высока. А внешние таблицы нынче поддерживают все приличные субд ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.02.2016, 10:13
|
|||
|---|---|---|---|
Передача данных из Cassandra в MSSSQL (SSIS?) |
|||
|
#18+
IlyaTДобрый всем день! Вопросы: 1. Как переносить большее количество записей за раз с помощью SSIS 2. Какие еще могут быть варианты решения моей проблемы Буду благодарен за любые советы. сколько записей надо переносить? 2. написать прилагалище на c#, которое конектится туда и туда и переносит и фильтрует и т.д. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
02.03.2016, 11:32
|
|||
|---|---|---|---|
|
|||
Передача данных из Cassandra в MSSSQL (SSIS?) |
|||
|
#18+
IlyaT, Есть куда более простое решение от Microsoft http://blogs.technet.com/b/dataplatforminsider/archive/2014/06/02/polybase-in-aps-yet-another-sql-over-hadoop-solution.aspx сейчас доступно во всех Azure версиях, PDW ну и с 16 в обычном SQL Server'e ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
12.04.2016, 18:35
|
|||
|---|---|---|---|
|
|||
Передача данных из Cassandra в MSSSQL (SSIS?) |
|||
|
#18+
Друзья, есть же открытый ETL-tool Talend Open Studio - я с ним довольно долго работал - поддерживает и Cassandra и MSSQL - проблем нет. На выходе можно сгенерить самостоятельный JAR-пакет, который можно запускать из CRON или из планировщика винды https://www.talend.com/download/talend-open-studio ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.04.2016, 11:13
|
|||
|---|---|---|---|
|
|||
Передача данных из Cassandra в MSSSQL (SSIS?) |
|||
|
#18+
IlyaTДобрый всем день! Есть база Cassandra в которую пишутся данные в темпе десятки тысяч в секунду. Есть задача переноса этих данных в MSSQL (при возможности прореживать их по дороге) Изучив все варианты пробую применить MS SSIS и Cassandra ODBC драйвер от DataStax. Почему-то экспортируются только около 10 000 записей за один раз. При этом пакет не выдает никаких ошибок, а корректно завершает работу. В документации на драйвер нигде не нашел описание такого ограничения. Вопросы: 1. Как переносить большее количество записей за раз с помощью SSIS 2. Какие еще могут быть варианты решения моей проблемы Буду благодарен за любые советы. Так переносите по 10 тыщ, мелкими частями, если миллионы записей за раз тянуть будут длинные запросы и т.д. Или напишите свое приложение на шарпе, которое будет читать, фильтровать, писать ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=48&mobile=1&tid=1856761]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
58ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
45ms |
get tp. blocked users: |
1ms |
| others: | 364ms |
| total: | 510ms |
| 0 / 0 |
