|
|
|
bcp in parallel
|
|||
|---|---|---|---|
|
#18+
приветствую имеется предположение, возможно ложное, что можно загрузить файльі в таблицу параллельно при помощи только bcp. Лично я делал єто только при помощи SSIS как-то давно Например имеються файльі abc_1.csv abc_2.csv .. .. abc_N.csv Если не ошибаюсь, то единственное условие - BULK UPDATE(BU) lock на целевой таблице. Если вьіполнять, по 2-а файла bcp abc_1.csv bcp abc_2.csv в concurrent threads - будет ли работать ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.04.2020, 01:32 |
|
||
|
bcp in parallel
|
|||
|---|---|---|---|
|
#18+
Грузить параллельно надо в разные таблицы или партиции. Остальное будет плохо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.04.2020, 03:24 |
|
||
|
bcp in parallel
|
|||
|---|---|---|---|
|
#18+
_human в concurrent threads - будет ли работать ? Гавриленко Сергей Алексеевич Грузить параллельно надо в разные таблицы или партиции. Остальное будет плохо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.04.2020, 08:53 |
|
||
|
bcp in parallel
|
|||
|---|---|---|---|
|
#18+
_human, Должно хорошо работать параллельно, если целевая таблица IN-MEMORY буфер. Если это не подходит, сделайте несколько разных таблиц, с одинаковой структурой и потом скиньте загруженные данные в одну таблицу с помощью switch partition. Надо думать над схемой партиционирования. На и попробуйте параллельно лить в одну, но проработайте вопрос с кластерным ключом, чтобы одна загрузка заливала по одному диапазону кластерного индекса, а другая по другому. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.04.2020, 08:11 |
|
||
|
bcp in parallel
|
|||
|---|---|---|---|
|
#18+
_human, Одновременная загрузка в таблицу возможна в разные секции таблицы, при этом таблица должна иметь кластерный индекс. Параллельная загрузка в секционированную кучу невозможна. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.04.2020, 12:13 |
|
||
|
bcp in parallel
|
|||
|---|---|---|---|
|
#18+
Грузить в секционированную таблицу напрямую не нужно - будет медленно и печально. Автору же нужно быстро, раз рассматривает многопоточность. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.04.2020, 13:30 |
|
||
|
bcp in parallel
|
|||
|---|---|---|---|
|
#18+
Критик, насколько медленно? Зависит от хранилища. Но простоя из-за несовместимости блокировки при вставке нет. Параллельная вставка работает только внутри плана запроса, т.е. для внешнего источника единственный выход - загрузка каждого файла в свою секцию. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.04.2020, 15:53 |
|
||
|
bcp in parallel
|
|||
|---|---|---|---|
|
#18+
Собственно загрузку в секции я и делал, когда надо было загрузить данные нескольких регионов с удалённого сервера в одну таблицу. По крайней мере, получилось быстрее, чем последовательная загрузка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.04.2020, 17:00 |
|
||
|
bcp in parallel
|
|||
|---|---|---|---|
|
#18+
Владислав Колосов Критик, насколько медленно? Зависит от хранилища. Но простоя из-за несовместимости блокировки при вставке нет. Параллельная вставка работает только внутри плана запроса, т.е. для внешнего источника единственный выход - загрузка каждого файла в свою секцию. раза в 2 медленнее было, когда я тестил на MS SQL 2014 - там пересортировка шла в tempdb, на последних версиях не знаю, может уже есть подсказка грузить напрямую или переделали саму загрузку ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.04.2020, 23:39 |
|
||
|
bcp in parallel
|
|||
|---|---|---|---|
|
#18+
Критик, у меня автосоздание ключа, просто наполнение хранилища, из которого удаляются все записи перед загрузкой. Ускоренная перекачка с сервера на сервер с мелкими преобразованиями. Затем это хранилище обрабатывается другими процессами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.04.2020, 13:56 |
|
||
|
bcp in parallel
|
|||
|---|---|---|---|
|
#18+
Рабоотает select @@VERSION /*Microsoft SQL Server 2019 (RTM-CU3) (KB4538853) - 15.0.4023.6 (X64) Mar 4 2020 00:59:26 Copyright (C) 2019 Microsoft Corporation Developer Edition (64-bit) on Linux (Ubuntu 18.04.4 LTS) <X64>*/ Код: plaintext 1. 15 items, totalling 10,8 GB в 4-е потока 228 sec vs 608 sec хотя хинтьі ROWS_PER_BATCH или KILOBYTES_PER_BATCH заставить работать не получилось, только -b распознает ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.04.2020, 10:00 |
|
||
|
|
start [/forum/search_topic.php?author=%D0%92%D0%95%D0%97%D0%A3%D0%9D%D0%A7%D0%98%D0%9A&author_mode=last_posts&do_search=1]: |
0ms |
get settings: |
9ms |
get forum list: |
15ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
38ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
44ms |
get tp. blocked users: |
1ms |
| others: | 440ms |
| total: | 588ms |
| 0 / 0 |
