Гость
Войти | Профиль | Очистить
Действия ...
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать? / 17 сообщений из 17, страница 1 из 1
11.12.2014, 15:59
    #38831563
Pvase
Pvase
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
Есть таблица, в ней есть записи. Часть записей заполнена только по колонке ID (поле идентификатор). Надо удалить все записи, у которых заполнено только это поле. Для удаления условие по полю не ID, а поле, которое если пустое - значит запись нужно удалять Делаю запрос:
Код: sql
1.
DELETE FROM [Fct_0008] WHERE [IdDOC310] IS NULL


При этом:
Код: sql
1.
SELECT COUNT(*) FROM [Fct_0008] WHERE [IdDOC310] IS NULL


равно: 13 529 892
а всех записей в таблице = 22 406 658.
Как можно выполнить такое удаление побыстрее?

Дело в том, что запустив такой запрос:
Код: sql
1.
DELETE FROM [Fct_0008] WHERE [IdDOC310] IS NULL

он проработал минут 15 и выдал ошибку о переполнении лога для базы (лог ограничен 20 ГБ).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 16:00
    #38831566
Pvase
Pvase
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
Pvase,

Добавил еще один лог файл на 40 ГБ, посмотрим, может пройдет.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 16:01
    #38831569
Shakill
Shakill
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
Pvase, удаляйте не все сразу, а порциями
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 16:02
    #38831573
Glory
Glory
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
1. в цикле DELETE TOP
2. select into newtable where <то, что надо оставить>, очистить [Fct_0008], из newtable перенести в [Fct_0008]
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 16:09
    #38831583
a_voronin
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
PvasePvase,

Добавил еще один лог файл на 40 ГБ, посмотрим, может пройдет.

для таких объёмов данных маловато. У вас Recovery Model какой? Если Full, то как бы лог не пришлось бекапить между операциями.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 16:24
    #38831607
NickAlex66
NickAlex66
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
Pvase,

Если таблица [Fct_0008] широкая, то создание индекса по [IdDOC310] WHERE [IdDOC310] IS NULL вероятно поможет делу.
Конечно удалять порциями с коммитом после очередной порции.
Ну и Simple предпочтительнее.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 16:26
    #38831609
Pvase
Pvase
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
Glory1. в цикле DELETE TOP
2. select into newtable where <то, что надо оставить>, очистить [Fct_0008], из newtable перенести в [Fct_0008]
Спасибо, то что надо.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 16:30
    #38831621
Pvase
Pvase
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
Режим сразу поставил Simple. Спасибо, DELETE TOP (300000) выполняется всего по 40 секунд, пару раз прошелся и дело решено.

По существу. Эта таблица используется для загрузки данных из DTSX пакетов. После месяца работы обнаружил что есть дубли по полю ID. Посмотрел сколько их - оказалось почти половина. Причем все поля равны NULL, а ID дублируется. Вот решил почистить и добавить класстерный индекс по полю. Но вопрос остается, почему пожет при загрузке в DTSX пакетах происходит такое дублирования поля идентификатора?
MS SQL 2012.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 16:33
    #38831628
Glory
Glory
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
PvaseНо вопрос остается, почему пожет при загрузке в DTSX пакетах происходит такое дублирования поля идентификатора?
Потому что DTSX пакета всего лишь добавляет те данные, которые вы ему указываете добавить
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 16:47
    #38831665
Pvase
Pvase
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
Glory,

Это понятно, но почему он при этом значение в поле ID, которое является идентификатором с шагом 1 дублируется? Ведь ID вроде нигде не заполняется, SQL его должен сам прставлять уникальным, а получается что дублирует.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 16:55
    #38831681
Glory
Glory
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
PvaseЭто понятно, но почему он при этом значение в поле ID, которое является идентификатором с шагом 1 дублируется?
Потому что так написан пакет/запрос

PvaseВедь ID вроде нигде не заполняется, SQL его должен сам прставлять уникальным, а получается что дублирует.
С чего бы это SQL вдруг самому начать заполнять какое-то поле, да еще следить за уникальностью значений в нем ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 17:34
    #38831767
Pvase
Pvase
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
Glory,

Ну я так думал, что когда выполняешь INSERT для таблицы, то в поля, которые пропущены вставляется NULL, а в поле со свойством identity с шагом 1 должно автоматом вставлятся значение предыдущее + 1. Или для DTS пакетов это не действует?
Вот каие настройки на шаге вставки данных через OLE DB. Сопоставления для поля ID нет (выбрано "<Пропустить>"), а флажек "Сохранять ИД" в диспетчере соединений не установлен. Может что-то не так настроено? Подскажите пожалуйста.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 19:58
    #38831908
zasandator
zasandator
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
Pvase,

Код: sql
1.
2.
3.
4.
5.
while 1=1
begin
    DELETE top(5000) FROM [Fct_0008] WHERE [IdDOC310] IS NULL
    if @@rowcount = 0 break
end
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 20:22
    #38831917
alexeyvg
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
PvaseGlory,

Ну я так думал, что когда выполняешь INSERT для таблицы, то в поля, которые пропущены вставляется NULL, а в поле со свойством identity с шагом 1 должно автоматом вставлятся значение предыдущее + 1. Или для DTS пакетов это не действует?
Вот каие настройки на шаге вставки данных через OLE DB. Сопоставления для поля ID нет (выбрано "<Пропустить>"), а флажек "Сохранять ИД" в диспетчере соединений не установлен. Может что-то не так настроено? Подскажите пожалуйста.Подсказать нельзя, мы же не представляем. как там работает ваш пакет, и что там написано.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.12.2014, 22:37
    #38831973
Glory
Glory
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
PvaseНу я так думал, что когда выполняешь INSERT для таблицы,
А вот так прямо команду INSERT написали у себя в пакете ?
Или может в Профайлере ее увидели ?

Pvaseа в поле со свойством identity с шагом 1 должно автоматом вставлятся значение предыдущее + 1.
Вот именно, что +1. Только вот от чего +1 ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.12.2014, 16:02
    #38832646
Pvase
Pvase
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
Glory,

Это я предположил, ведь у задачи вставки данных в таблицу SQL, когда источником есть запрос T-SQL по идее может быть или INSERT или BULK INSERT. Но в любом случаем код ID не заполняется пакетом, потому что нет сопоставления для этого поля. Если бы поле не заполнялось, то оно везде было бы NULL, а так видно что идет наращивание.
Есть предположение что когда то возник сбой, поэтому и произошла такая вставка. Потому что после удаления дублей и повтроного выполнения пакета (раз 20 минимум с разныими условиями) дубли не появились.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
12.12.2014, 16:06
    #38832654
Glory
Glory
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать?
PvaseT-SQL по идее может быть или INSERT или BULK INSERT
А вы считаете, что ни одна из этих команд не может добавить дублирующие значения в indetity ?

PvaseНо в любом случаем код ID не заполняется пакетом,
Еще раз - вы видели команду, которая передается серверу на выполнение ?

PvaseЕсть предположение что когда то возник сбой, поэтому и произошла такая вставка.
Ну если, например,DBCC CHECKIDENT назвать сбоем, то да, однозначно сбой
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Надо с таблицы удалить около 13 млн записей по условию, как это можно сделать? / 17 сообщений из 17, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 287ms
Закрыть
start [/forum/topic.php?fid=46&mobile=1&tid=1699657]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 5ms
check topic access:
 5ms
track hit:
 165ms
get topic data:
 14ms
get forum data:
 3ms
get page messages:
 57ms
get tp. blocked users:
 1ms
others: 14ms
total:  287ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]