ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
11 сообщений из 11, страница 1 из 1
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
    #39664574
DaniilSeryi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DaniilSeryi
Участник
Дано: огромный текстовый файл на несколько гигабайт (не менее трёх) с соответствующим числом записей.

По условиям задачи должен использоваться SSIS пакет, при этом создаваемая на железо сервера и на конкретный экземпляр сервера не должна сжирать все ресурсы.
...
Рейтинг: 0 / 0
23.06.2018, 10:41
| Ответить | Цитировать | Написать  
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
    #39664578
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
DaniilSeryi,

с чего Вы решили, что сожрёт? У вас экпресс редакция?
...
Рейтинг: 0 / 0
23.06.2018, 10:47
| Ответить | Цитировать | Написать  
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
    #39664588
vborets
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vborets
Участник
DaniilSeryi,

Грузите частями...
...
Рейтинг: 0 / 0
23.06.2018, 11:32
| Ответить | Цитировать | Написать  
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
    #39664611
aleks222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aleks222
Участник
DaniilSeryiДано: огромный текстовый файл на несколько гигабайт (не менее трёх) с соответствующим числом записей.

По условиям задачи должен использоваться SSIS пакет, при этом создаваемая на железо сервера и на конкретный экземпляр сервера не должна сжирать все ресурсы.

1. Не оглашен формат файла.
2. SSIS поставьте рядом - пускай стоит.
3. Один поток BULK INSERT ничего не сожрет.
4. Десяток потоков BULK INSERT упрутся, скорее всего, в диск.
5. Т.е. BCP.exe, BULK INSERT али sqlXmlBulkLoad - спасут.
...
Рейтинг: 0 / 0
23.06.2018, 13:52
| Ответить | Цитировать | Написать  
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
    #39664728
DaniilSeryi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DaniilSeryi
Участник
Владислав КолосовDaniilSeryi,

с чего Вы решили, что сожрёт? У вас экпресс редакция?

Сервер не мой, 2008, Enterprise Edition, и есть подозрения, что и железо того же времени плюс минус два года. Точнее пока посмотреть не могу.

aleks222 - то есть, если нужен именно SSIS (зависит не от меня) - то или вызываю bcp через Execute Process Task, или использую Bulk Insert Task - которая по сути обёртка для bcp?

Формат файла - текстовый.

vborets - как именно?
...
Рейтинг: 0 / 0
23.06.2018, 21:59
| Ответить | Цитировать | Написать  
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
    #39664730
Фотография Ennor Tiegael
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ennor Tiegael
Участник
3 гига - это ни о чем. Даже если на телефон заливать, все равно ни о чем. Ну, если это не Нокия 3310, конечно.

OLE DB Destination в режиме fast load + table lock и все нормально зальется. Узким местом будет точно не SSIS, скорее всего диск, ну или сеть, если участвует в процессе.
...
Рейтинг: 0 / 0
23.06.2018, 22:00
| Ответить | Цитировать | Написать  
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
    #39664738
DaniilSeryi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DaniilSeryi
Участник
Ennor Tiegael3 гига - это ни о чем. Даже если на телефон заливать, все равно ни о чем. Ну, если это не Нокия 3310, конечно.

OLE DB Destination в режиме fast load + table lock и все нормально зальется. Узким местом будет точно не SSIS, скорее всего диск, ну или сеть, если участвует в процессе.

То есть, даже с вызовом bcp из пакета можно не заморачиваться? Хм... Спасибо.
...
Рейтинг: 0 / 0
23.06.2018, 22:21
| Ответить | Цитировать | Написать  
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
    #39664746
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
DaniilSeryiEnnor Tiegael3 гига - это ни о чем. Даже если на телефон заливать, все равно ни о чем. Ну, если это не Нокия 3310, конечно.

OLE DB Destination в режиме fast load + table lock и все нормально зальется. Узким местом будет точно не SSIS, скорее всего диск, ну или сеть, если участвует в процессе.

То есть, даже с вызовом bcp из пакета можно не заморачиваться? Хм... Спасибо.Да, с fast load + table lock будет быстро, размер действительно маленький.
...
Рейтинг: 0 / 0
23.06.2018, 22:59
| Ответить | Цитировать | Написать  
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
    #39664753
DaniilSeryi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DaniilSeryi
Участник
Всем спасибо за помощь, буду делать.
...
Рейтинг: 0 / 0
23.06.2018, 23:43
| Ответить | Цитировать | Написать  
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
    #39664782
aleks222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aleks222
Участник
DaniilSeryiФормат файла - текстовый.

Наивняк.
XML тоже текст.
...
Рейтинг: 0 / 0
24.06.2018, 09:51
| Ответить | Цитировать | Написать  
Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
    #39664807
DaniilSeryi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DaniilSeryi
Участник
aleks222DaniilSeryiФормат файла - текстовый.

Наивняк.
XML тоже текст.

хех... спс.
...
Рейтинг: 0 / 0
24.06.2018, 13:57
| Ответить | Цитировать | Написать  
11 сообщений из 11, страница 1 из 1
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Как не повесить Sql Server при загрузке в таблицу базы нескольких гигабайт данных?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]