|
|
|
Проверка дубликатов при импорте
|
|||
|---|---|---|---|
|
#18+
Задача такая - перенести данные из таблицы-источника одний СУБД в целевую таблицу другой СУБД, не создав при этом записей-дубликатов в целевой таблице. проверка проходит по совокупности столбцов. Пробовал выгружать источник и целевую таблицу в DataTable и сравнивать каждую запись источника со всей целевой таблицей....получается очень долго (в источнике и целевой таблицах по миллиону записей). Использовал и DataTable.Select и DataTable.Rows.Find и foreach. (Очень удивился, когда Select отработал медленнее, чем foreach). Пробовал делать запрос в БД на импорт каждой записи из источника, что получилось не быстрее, чем первый вариант. Как можно еще ускорить процесс переноса? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2007, 14:47 |
|
||
|
Проверка дубликатов при импорте
|
|||
|---|---|---|---|
|
#18+
СУБД какая? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2007, 14:59 |
|
||
|
Проверка дубликатов при импорте
|
|||
|---|---|---|---|
|
#18+
Если проверка на повтор осуществляется по совокупности столбцов, то можно создать хеш-таблицу, у которой в качестве ключей будет сумма всех значений полей результирующей таблицы, приведенной к типу string. Далее при добавлении нужно использовать метод HashTable.ContainsKey(object Key). Этот метод работает очень быстро и вся операция займет всего два цикла. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.06.2007, 15:39 |
|
||
|
|
start [/forum/moderation_log.php?user_name=RGB%28255%2C0%2C0%29]: |
0ms |
get settings: |
7ms |
get forum list: |
22ms |
get settings: |
6ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
137ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
32ms |
get tp. blocked users: |
1ms |
| others: | 617ms |
| total: | 851ms |
| 0 / 0 |
