Подскажите, пожалуйста, концепцию загрузки базы ФИАС в формате XML.

Известно, что данные предоставляются в двух вариантах: целиком на некоторую дату, либо апдейтами в виде дельта-файлов, содержащих добавления, изменения и удаления за период, определенный датой предыдущей выгрузки базы и текущей на момент данной выгрузки.

XMLBulkLoad загружает данные используя только вставку (поправьте, если не прав) и каждый раз очищать у себя базу FIAS только для загрузки целиком довольно накладно. Кто-то реализовывал слияние данных с использованием XMLBulkLoad (может триггерами на таблицы или как-то еще)? Интересно ваше мнение, как в данном случае можно было бы решить задачу дозаливки изменений, вместо полного переноса данных.

Спасибо за предложения, конечно речи о том, чтобы грузить в рабочие таблицы и не шло.

Удалось смоделировать такое решение:

XMLBulkLoad загружает данные в таблицы-пустышки, на которых имеются Instead Of Insert-триггеры. Данные в этих таблицах не хранятся, а триггеры осуществляют MERGE в таблицы данных. При этом у экземпляра класса SQLXMLBulkLoad нужно включить работу триггеров при вставке (FireTriggers = True).

Еще вариант: таблицы-пустышки можно заменить представлениями с теми же триггерами, но тогда у импортера нужно отключить генерацию таблиц (SchemaGen = False), иначе он будет пытаться создать таблицы, одноименные с этими представлениями.

энди,
Да, вполне вариант с джобом, работать должен быстрее, но и требовать в два раза больше места под временное хранилище. Правда я вот джобы не очень люблю :), ибо их на сервере накопилось очень много. Можно после загрузки данных в таблицы запускать некую процедуру слияния.

энди,

В два раза не по отношению ко всем данным, а только импортируемым... Хотя, конечно, хотелось бы не заморачиваться и сделать единый механизм как для начальной загрузки, так и для дельт. При этом полную заливку можно было бы сделать и ночью, тут скорость не критична. В будущем может понадобиться прибегнуть и к полной заливке повторно. Не очень хотелось бы делать это в полуручном режиме.

энди,

Все же я проверил вашу гипотезу о том, что триггер срабатывает на каждую запись - она не верная. Триггер срабатывает сразу на все записи, похоже (или на какую-то большую пачку, размер которой весьма существенный). Ну и действительно, рассуждая логически: чтобы работать построчно XMLBulkLoad пришлось бы каждую запись отправлять отдельно, что драматически сказалось бы на быстродействии.

Существенных потерь при вставке через триггер я не обнаружил - все достаточно быстро, продолжаю реализацию без промежуточных хранений.