Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных? / 11 сообщений из 11, страница 1 из 1
23.06.2018, 10:41
    #39664574
DaniilSeryi
DaniilSeryi
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
Дано: огромный текстовый файл на несколько гигабайт (не менее трёх) с соответствующим числом записей.

По условиям задачи должен использоваться SSIS пакет, при этом создаваемая на железо сервера и на конкретный экземпляр сервера не должна сжирать все ресурсы.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.06.2018, 10:47
    #39664578
Владислав Колосов
Владислав Колосов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
DaniilSeryi,

с чего Вы решили, что сожрёт? У вас экпресс редакция?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.06.2018, 11:32
    #39664588
vborets
vborets
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
DaniilSeryi,

Грузите частями...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.06.2018, 13:52
    #39664611
aleks222
aleks222
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
DaniilSeryiДано: огромный текстовый файл на несколько гигабайт (не менее трёх) с соответствующим числом записей.

По условиям задачи должен использоваться SSIS пакет, при этом создаваемая на железо сервера и на конкретный экземпляр сервера не должна сжирать все ресурсы.

1. Не оглашен формат файла.
2. SSIS поставьте рядом - пускай стоит.
3. Один поток BULK INSERT ничего не сожрет.
4. Десяток потоков BULK INSERT упрутся, скорее всего, в диск.
5. Т.е. BCP.exe, BULK INSERT али sqlXmlBulkLoad - спасут.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.06.2018, 21:59
    #39664728
DaniilSeryi
DaniilSeryi
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
Владислав КолосовDaniilSeryi,

с чего Вы решили, что сожрёт? У вас экпресс редакция?

Сервер не мой, 2008, Enterprise Edition, и есть подозрения, что и железо того же времени плюс минус два года. Точнее пока посмотреть не могу.

aleks222 - то есть, если нужен именно SSIS (зависит не от меня) - то или вызываю bcp через Execute Process Task, или использую Bulk Insert Task - которая по сути обёртка для bcp?

Формат файла - текстовый.

vborets - как именно?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.06.2018, 22:00
    #39664730
Ennor Tiegael
Ennor Tiegael
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
3 гига - это ни о чем. Даже если на телефон заливать, все равно ни о чем. Ну, если это не Нокия 3310, конечно.

OLE DB Destination в режиме fast load + table lock и все нормально зальется. Узким местом будет точно не SSIS, скорее всего диск, ну или сеть, если участвует в процессе.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.06.2018, 22:21
    #39664738
DaniilSeryi
DaniilSeryi
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
Ennor Tiegael3 гига - это ни о чем. Даже если на телефон заливать, все равно ни о чем. Ну, если это не Нокия 3310, конечно.

OLE DB Destination в режиме fast load + table lock и все нормально зальется. Узким местом будет точно не SSIS, скорее всего диск, ну или сеть, если участвует в процессе.

То есть, даже с вызовом bcp из пакета можно не заморачиваться? Хм... Спасибо.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.06.2018, 22:59
    #39664746
alexeyvg
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
DaniilSeryiEnnor Tiegael3 гига - это ни о чем. Даже если на телефон заливать, все равно ни о чем. Ну, если это не Нокия 3310, конечно.

OLE DB Destination в режиме fast load + table lock и все нормально зальется. Узким местом будет точно не SSIS, скорее всего диск, ну или сеть, если участвует в процессе.

То есть, даже с вызовом bcp из пакета можно не заморачиваться? Хм... Спасибо.Да, с fast load + table lock будет быстро, размер действительно маленький.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.06.2018, 23:43
    #39664753
DaniilSeryi
DaniilSeryi
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
Всем спасибо за помощь, буду делать.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.06.2018, 09:51
    #39664782
aleks222
aleks222
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
DaniilSeryiФормат файла - текстовый.

Наивняк.
XML тоже текст.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.06.2018, 13:57
    #39664807
DaniilSeryi
DaniilSeryi
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
aleks222DaniilSeryiФормат файла - текстовый.

Наивняк.
XML тоже текст.

хех... спс.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных? / 11 сообщений из 11, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]