ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Удалить дупликаты из большой базы (как?)
9 сообщений из 9, страница 1 из 1
Удалить дупликаты из большой базы (как?)
    #35991831
Иван Пирогов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Иван Пирогов
Гость
есть таблица

Код: plaintext
create table T (i_val int, c_val varchar( 123 ), d_val datetime, b_val varbinary( 255 ))
размером 10 Gb
размер БД 16 Gb, лога 2 Gb
Размер tempdb 8 Gb, лога 4 Gb

Как удалить дупликаты из этой таблицы?
Заранее благодарен за помощь.
...
Рейтинг: 0 / 0
18.05.2009, 15:04
| Ответить | Цитировать | Написать  
Удалить дупликаты из большой базы (как?)
    #35991886
MAXHATbIu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MAXHATbIu
Участник
Может что-либо вроде вот этого подойдёт? (подсмотрел на одном из форумов)

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
DELETE t1
FROM T t1, T t2 
WHERE t1.поле_1=t2.поле_1
and  t1.поле_2=t2.поле_2
and  t1.поле_3=t2.поле_3
....
AND t1.ID > t2.ID
где ID - первичный ключ
...
Рейтинг: 0 / 0
18.05.2009, 15:15
| Ответить | Цитировать | Написать  
Удалить дупликаты из большой базы (как?)
    #35991953
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Иван Пирогов wrote:

> Как удалить дупликаты из этой таблицы?

Тебе по любому нужно сначала определиться, что такое "дубликаты"
у тебя.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
18.05.2009, 15:33
| Ответить | Цитировать | Написать  
Удалить дупликаты из большой базы (как?)
    #35992108
Иван Пирогов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Иван Пирогов
Гость
MAXHATbIu,
а первичного ключа там нет, в этом то и суть. Нужно чтобы запрос отработал так, чтобы по памяти не было переполнений. Боюсь при таком соединении оно вполне может и произойти
...
Рейтинг: 0 / 0
18.05.2009, 16:23
| Ответить | Цитировать | Написать  
Удалить дупликаты из большой базы (как?)
    #35992114
Иван Пирогов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Иван Пирогов
Гость
MasterZiv,

скорее всего по первым трем полям. Не уверен, что блобы можно сравнивать
...
Рейтинг: 0 / 0
18.05.2009, 16:24
| Ответить | Цитировать | Написать  
Удалить дупликаты из большой базы (как?)
    #35992135
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Иван Пирогов wrote:

> скорее всего по первым трем полям. Не уверен, что блобы можно сравнивать

Лучше всего создать другую таблицу с такой же структурой, но
плюс ещё с уникальным индексом по всем полям, набор значений которых
будет тебе давать уникальность записи (что это - не дубликат).
В индексе надо сделать опцию IGNORE_DUP_KEY. С этой опцией
нарушение уникального ключа не является ошибкой, а просто игнорируется.
И потом вставить в новую таблицу все строки из старой. Тогда
в новой останутся только уникальные значения.
Старую таблицу потом можно дропануть, а новую переименовать в старую,
или ещё как.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
18.05.2009, 16:31
| Ответить | Цитировать | Написать  
Удалить дупликаты из большой базы (как?)
    #35994454
Иван Пирогов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Иван Пирогов
Гость
MasterZiv,
спасибо, попробую
...
Рейтинг: 0 / 0
19.05.2009, 15:43
| Ответить | Цитировать | Написать  
Удалить дупликаты из большой базы (как?)
    #35994627
MAXHATbIu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MAXHATbIu
Участник
MasterZiv, тогда попутный вопрос, как к более опытному.
Почему бы просто не добавить alter table'ом ещё одно поле в таблицу, а затем в цикле проставить значения (от 1 до количества записей в таблице). Фактически получим уникальность записи. А потом после удаления дублей это поле дропнуть.
т.е примерно так
Код: plaintext
1.
2.
3.
alter table T add ID numeric ( 18 , 0 )

select @i= 1                                            
update T set ID=@i, @i=@i+ 1
...
Рейтинг: 0 / 0
19.05.2009, 16:34
| Ответить | Цитировать | Написать  
Удалить дупликаты из большой базы (как?)
    #35994734
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
MAXHATbIu wrote:

> таблице). Фактически получим уникальность записи. А потом после удаления
> дублей это поле дропнуть.
> т.е примерно так
>
> alter table T add ID numeric (*18*,*0*)
>
> select @i=*1*
> update T set ID=@i, @i=@i+*1*

Тоже вариант, есть ещё много вариантов. Тот, который я привёл - один
из достаточно стандартных и слабозаморочных.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2009, 16:59
| Ответить | Цитировать | Написать  
9 сообщений из 9, страница 1 из 1
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Удалить дупликаты из большой базы (как?)
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=55&fpage=38&tid=2011031]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 56ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 45ms
get tp. blocked users:
 2ms
others: 235ms
total:  381ms
созд. / загр.: 381ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]