Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Добрый день Не сталкивался ли кто-нибудь с загрузкой БД ФИАС (новый классификатор адресов) в БД Так как объемы XML файлов значительные то решил сделать через хранимку spXmlBulkLoad Хранимку создал, XML библиотеку на сервере обновил до последней версии, ну и для проверки кинул один файлик и схему. Вот содержимое файла Код: xml 1. Вот файл схемы (взял с сайта ФИАС) Код: xml 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. Запускаю Код: sql 1. И получаю ошибку, явно видно что проблема в схеме, но куда порыть уму не приложу, писать схему с нуля, как-то не хочется, может кто-то уже сталкивался с подобной проблемой? Код: sql 1. 2. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 13:25 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
энди, Попробуй так: Код: xml 1. 2. 3. 4. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 13:57 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Я так уже пробовал, полдня промучился сам и только после этого в форум пошел, гугль у меня не забанен :) Код: plsql 1. 2. 3. 4. 5. 6. 7. Хотя текст ошибки и меняется понять проблему с схемой я так и не смог. Код: plsql 1. 2. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 14:05 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Invalid object name 'ActualStatus' - похоже что не создает таблицу... У меня такая xsd (с sql:is-constant="1") работает, но я гружу через vbs скрипт: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 14:24 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Сделал как у вас Код: plsql 1. 2. В результате создалась таблица ActualStatus в которую и занеслись записи, проблема в том что таблица как я понимаю должна называться ActualStatuses :( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 14:32 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
с чего бы это? Код: xml 1. Если надо изменить: Код: xml 1. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 14:36 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Просто там если нормально не именовать зоопарк пойдет, например AddressObjects станут Object что согласитесь некрасиво, но так как Вы сразу сказали что сделать чтобы переименовать таблицу то вопрос решен, огромное спасибо :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 14:46 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Незачто, рад что помогло :) Проверяйте остальные схемы - там помнится тоже засады были... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 14:49 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Да, уже натолкнулся на тип поля data в файле AS_ADDROBJ Не жуется описание вот этого поля в схеме Код: plsql 1. 2. 3. 4. 5. 6. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 14:51 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
date -> dateTime ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 14:55 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Затыкаешь в одном месте, начинает падать в другом :) Приложил фикс sql:is-constant="1", переименование таблицы и date->datetime и начало падать Код: plsql 1. 2. Вобщем я что-то не особо впечатлен этими xsd схемами от ФИАСа, не будет ли слишком наглым попросить Ваши уже выправленные схемы? :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 15:05 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
отправил на почту из профиля ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 15:25 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Огромное спасибо, уже попробовал, работает великолепно :) Даже не буду заморачиваться дельтами, проще раз в месяц обновить БД. У bulkload скорость отличная. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 15:33 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Zandr, а может тут выложишь? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 18:41 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
энди, В ФИАС, кстати, Крым добавили? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 19:27 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
В понедельник узнаю :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.05.2014, 19:39 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Infernal V. Raven, Ок. В понедельник выложу. Проверить на Крым и прочие адреса можно у ФИАСа на сайте: http://fias.nalog.ru/Public/SearchPage.aspx?SearchState=2 (я так понимаю что у них там актуальная версия базы используется...) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.05.2014, 21:45 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Есть уже Крым в фиас, быстро однако ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2014, 09:48 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Как обещал: Схемы ФИАС для MSSQL (bulk load) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2014, 12:12 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Всем привет! Тоже имею вопрос по ФИАСу Никого не смущает дублирующиеся номера домов (с разными почтовыми индексами) по запросу: Московская обл, Ступино г, Андропова ул? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2014, 14:59 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
да ладно, вы наверное забыли учесть поля STARTDATE & ENDDATE SELECT * FROM dbo.House WHERE AOGUID='7542779a-a6d2-4344-ba5d-b30eb76342cf' AND GETDATE() BETWEEN STARTDATE AND ENDDATE ORDER BY HOUSENUM ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2014, 15:19 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
энди, Да походу не только я, а еще и ОНИ сами забыли. У них на сайте тоже дубликаты выходят. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.05.2014, 07:23 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Бывает, там тоже люди работают :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.05.2014, 09:16 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Добрый день. Сам сейчас столкнулся с задачей залива ФИАС в mysql, осложненной огромными объемами файлов. Подскажите, как xds помогает с этой проблемой справиться? Честно говоря не сильно большой специалист... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2014, 16:46 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Мы DBF загружаем, полет нормальный. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.07.2014, 16:54 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
ПаWWWлОдАрЕц, 1 дом поделен на 2 отделения почты = разные индексы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2014, 08:44 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Импорт фиаса через хп это эпик фэйл какой-то :) Может кому пригодится http://codearticles.ru/articles/2403 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.07.2014, 23:48 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
А что плохого в загрузке этих справочников через bulk? Эту статья я думаю уже большинство людей кто интересовался загрузкой их в MSSQL уже давно видели. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.07.2014, 13:35 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
А у меня печалька. Дельты в XML грузятся, а вот на загрузке полных XML падает на загрузке самомого большого файла HOUSE (14G!). Использую SQLXMLBulkLoad: Код: xml 1. 2. То есть парсер якобы нашел незаэскейпленный '<'. Никто не сталкивался с таким ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.03.2015, 13:47 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Поделитесь исправленными xsd схемами ФИАС, пожалуйста. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.04.2016, 08:25 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Дико извиняюсь, но не поделится ли кто-нибудь исправленными xsd-схемами? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.05.2016, 11:35 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Подскажите, пожалуйста, концепцию загрузки базы ФИАС в формате XML. Известно, что данные предоставляются в двух вариантах: целиком на некоторую дату, либо апдейтами в виде дельта-файлов, содержащих добавления, изменения и удаления за период, определенный датой предыдущей выгрузки базы и текущей на момент данной выгрузки. XMLBulkLoad загружает данные используя только вставку (поправьте, если не прав) и каждый раз очищать у себя базу FIAS только для загрузки целиком довольно накладно. Кто-то реализовывал слияние данных с использованием XMLBulkLoad (может триггерами на таблицы или как-то еще)? Интересно ваше мнение, как в данном случае можно было бы решить задачу дозаливки изменений, вместо полного переноса данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.11.2017, 18:05 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
У тя есть ажно два пути 1. .IgnoreDuplicateKeys = True 2. Грузить в tempdb + merge ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.11.2017, 19:12 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
1) никогда, повторяю, никогда не грузите xml сразу в рабочие таблицы! 2) ну а исходя из того что у вас есть и текущие рабочие таблицы и таблицы в которых есть обновление то что мешает проапдейтить одну таблицу из другой? по диффам не подскажу, не заморачивался, у меня не та нагрузка на БД была чтобы заморачиватся, ночью просто пускался джоб который обновлял рабочие таблицы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.11.2017, 19:15 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Спасибо за предложения, конечно речи о том, чтобы грузить в рабочие таблицы и не шло. Удалось смоделировать такое решение: XMLBulkLoad загружает данные в таблицы-пустышки, на которых имеются Instead Of Insert-триггеры. Данные в этих таблицах не хранятся, а триггеры осуществляют MERGE в таблицы данных. При этом у экземпляра класса SQLXMLBulkLoad нужно включить работу триггеров при вставке (FireTriggers = True). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2017, 11:08 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Еще вариант: таблицы-пустышки можно заменить представлениями с теми же триггерами, но тогда у импортера нужно отключить генерацию таблиц (SchemaGen = False), иначе он будет пытаться создать таблицы, одноименные с этими представлениями. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2017, 11:17 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Да ну, триггеры вообще не особо люблю, чем вас не устраивает прогруз в эти таблицы пустышки, а затем просто регулярно выполняемый job который скопирует и обновит данные как надо? Посути у вас триггер будет работать построчно, но опять же зачем если можно потом просто сделать UPDATE и обработать все строки сразу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2017, 11:35 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
энди, Да, вполне вариант с джобом, работать должен быстрее, но и требовать в два раза больше места под временное хранилище. Правда я вот джобы не очень люблю :), ибо их на сервере накопилось очень много. Можно после загрузки данных в таблицы запускать некую процедуру слияния. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2017, 11:50 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
почему в 2 раза? вы будете полную БД фиаса грузить или только diff-ы? Вторые явно меньше основной БД. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2017, 11:54 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
энди, В два раза не по отношению ко всем данным, а только импортируемым... Хотя, конечно, хотелось бы не заморачиваться и сделать единый механизм как для начальной загрузки, так и для дельт. При этом полную заливку можно было бы сделать и ночью, тут скорость не критична. В будущем может понадобиться прибегнуть и к полной заливке повторно. Не очень хотелось бы делать это в полуручном режиме. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2017, 12:04 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
2 набора пустых таблиц для импорта. 1) создать джоб для diff, грузит данные из инета, распаковывает куда надо, загружает в пустые таблицы на сервере и обновляет данные рабочей БД 2) второй джоб аналогичен, только обновляет БД полностью. 3) настроить запуск первого типа обновления раз в 3 дня, второго скажем раз в квартал ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.11.2017, 12:55 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
энди, Все же я проверил вашу гипотезу о том, что триггер срабатывает на каждую запись - она не верная. Триггер срабатывает сразу на все записи, похоже (или на какую-то большую пачку, размер которой весьма существенный). Ну и действительно, рассуждая логически: чтобы работать построчно XMLBulkLoad пришлось бы каждую запись отправлять отдельно, что драматически сказалось бы на быстродействии. Существенных потерь при вставке через триггер я не обнаружил - все достаточно быстро, продолжаю реализацию без промежуточных хранений. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.11.2017, 11:49 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Прошу простить мою наглость, но очень очень нужны готовые, доработанные схемы XSD для ФИАС Прошу Вашей помощи, если Вам не сложно выложите плз. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2017, 13:54 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2017, 14:03 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
ptr128, Большое Вам спасибо!!!! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2017, 15:36 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Владислав КолосовМы DBF загружаем, полет нормальный. +1 Зачем с XML cсвязываться, когда DBF есть ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2017, 22:30 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
ptr128, спасибо! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2017, 08:21 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Я думаю загрузка из xml на порядок быстрее загрузки dbf. Это достаточная причина? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2017, 09:22 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
эндизагрузка из xml на порядок быстрее загрузки dbf. И есть убедительные доказательства сего утверждения? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2017, 09:30 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Извините, подниму тему. Подскажите, а где, собственно, взять этот пресловутый spxmlbulkload? Набираю EXEC spXmlBulkLoad 'e:\AS_ADDROBJ.XML', 'e:\AS_ADDROBJ.xsd', 'inetbuffer', а в ответ "Сообщение 2812, уровень 16, состояние 62, строка 13 Не удалось найти хранимую процедуру "spXmlBulkLoad".". Где она прячется? На форумах и в статьях как-то все пространно расписано, а как и где запустить не понятно, либо, наоборот, так тривиально, что просто об этом и не упоминают. Помогите, ткните носом. Спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 10:52 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 11:32 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Спасибо. Жаль, но для этой процедуры нужны дополнительные разрешения на сервере. А это не в моей власти. Попробовал сделать то же самое через VBS-скрипт: Set objBulkLoad = CreateObject("SQLXMLBulkLoad.SQLXMLBulkload.4.0") objBulkLoad.ConnectionString = _ "provider=SQLOLEDB;data source=VOLODJAVM\SQLEXPRESS;database=inetbuffer;" & _ "Integrated Security=SSPI;" objBulkLoad.XMLFragment = True objBulkLoad.ErrorLogFile = "E:\xmlerror.log" objBulkLoad.Execute "e:\AS_ADDROBJ.xsd","e:\AS_ADDROBJ.xml" Set objBulkLoad = Nothing MsgBox "The SQLXMLBulkLoad process completed successfully",0,"XML Bulk Load Process" Нашел на просторах. Но и в этом случае облом. Похоже что-то снова с xsd. Брал и те, что на сайте ФИАС, и те что здесь выложены. Везде ошибка "Недопустимое имя объекта". Имя везде разное. По последнему xsd с этой ветки форума это ADDROBJ. Что-то за это время изменилось? Может кто поделится актуальным xsd? Спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:22 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Таблицы в базе созданы? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:24 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:25 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Я думал они сами создадутся. Руками эти таблицы устанешь создавать. А скриптов тоже нигде не видел. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:27 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Я если честно деталей уже не помню, ушли мы от прямого использования фиас на сервис https://dadata.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:30 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Wovan2, оно их и создаст если вы объекту sqlXmlBulkLoad выставите свойство SchemaGen в True, ну и если схема правильная ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:30 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
felix_ff, Спасибо. Продвинулся дальше. Ошибка, все-таки в в xsd. Теперь скрипт пишет Определение столбца UPDATEDATE должно содержать тип данных\ В xsd записано <xs:attribute name="UPDATEDATE" type="xs:date" use="required"> Нет типа xs:date? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:39 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Извините. Нашел ответ в начале этой ветки форума. (перечитал внимательней) Странно Xsd брал здесь же, вроде как правленный. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:47 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
эндиЯ думаю загрузка из xml на порядок быстрее загрузки dbf. Это достаточная причина? С чего бы это? Не говоря о трате оперативной памяти. dbf имеет записи фиксированной длины, не надо парсить структуру и т.д. Вычислительные затраты намного ниже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 13:08 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Пробовал чисто экспериментальным путем, штатными методами sql server. Вот через sqlbulkload скорость просто зверская, уровнь bcp. А DBF через штатного провайдера замучаешься заливать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 13:52 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Сейчас залил таб. ADDROBJ. Скорость около 6000 зап./сек. Споткнулся на заливке HOUSE после 20 мин. работы вывалилась ошибка: Значение атрибута не должно содержать знак "<". Что это? Ошибка в данных? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 15:28 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
я бы просто сделал валидацию xml файла по схеме, там сразу будет видно где и что неверно и исходном xml вплоть до строки ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 15:37 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
энди, Я тоже об этом думал. Но. Валидация файла в 22 Гб? И чем такой файл валидировать? Есть варианты. И еще. Может у SQLXMLBulkload есть какой-то параметр для пропуска ошибочных записей? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 16:00 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
я видел где-то код для sql Server проверки валидности xml файла по схеме, поищите, 100% было, и софтовые варианты были, но сходу в голову только xml spy приходит а проверит вполне нормально, 20гб это еще даже не суровый объем :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 16:14 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
энди, XMLSpy и XMLPad при попытке открытия файла вываливаются Out of memory :-( Этот ФИАС задолбал своими форматами. Вроде нащупал как с ними бороться, но облом. И не понятно в чем ошибка. В их файле или что-то у меня. Неужели при массовой загрузке нельзя как-то обрабатывать ошибки ввода? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 17:11 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Добрый день. При импорте любых таблиц ФИАС'а что скриптом, Код: vbnet 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. что с помощью процедуры spXMLBulkLoad Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. получаю ошибку. Например, при импорте простейшей AS_SOCRBASE, получаю такое. Schema: relationship expected on 'AddressObjectType'. Таблица создана XSD и XML брал с сайта фиаса Хелп, господа, помогите пройти затык? SELECT @@version Microsoft SQL Server 2008 R2 (SP3) - 10.50.6220.0 (X64) Mar 19 2015 12:32:14 Copyright (c) Microsoft Corporation Developer Edition (64-bit) on Windows NT 6.1 <X64> (Build 7601: Service Pack 1) SQLXML 4.0 SP1 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2018, 10:15 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Как я понял все дело в кривоватых xsd схемах с сайта ФИАСа. Господа, поделитесь, пожалуйста, правлеными схемами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2018, 11:17 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
на предыдушей странице посмотри, вроде выкладывали ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2018, 11:24 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
энди, спасибо, видел. К сожалению они не работали... пока я не допер и не сменил date->dateTime. Да и не все схемы там. Несколько (2-3) пришлось с ФИАСа брать и переделывать под SQL по аналогии. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2018, 16:34 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
NVT, А не поделитесь схемами для загрузки? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.01.2019, 14:36 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Схемы пожалуйста ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.12.2020, 16:07 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
DimaMorozov, https://habr.com/ru/post/451720/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.12.2020, 07:33 |
|
||
|
|

start [/forum/topic.php?all=1&fid=46&tid=1685286]: |
0ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
55ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
81ms |
get tp. blocked users: |
2ms |
| others: | 261ms |
| total: | 442ms |

| 0 / 0 |
