Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 11:32 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Спасибо. Жаль, но для этой процедуры нужны дополнительные разрешения на сервере. А это не в моей власти. Попробовал сделать то же самое через VBS-скрипт: Set objBulkLoad = CreateObject("SQLXMLBulkLoad.SQLXMLBulkload.4.0") objBulkLoad.ConnectionString = _ "provider=SQLOLEDB;data source=VOLODJAVM\SQLEXPRESS;database=inetbuffer;" & _ "Integrated Security=SSPI;" objBulkLoad.XMLFragment = True objBulkLoad.ErrorLogFile = "E:\xmlerror.log" objBulkLoad.Execute "e:\AS_ADDROBJ.xsd","e:\AS_ADDROBJ.xml" Set objBulkLoad = Nothing MsgBox "The SQLXMLBulkLoad process completed successfully",0,"XML Bulk Load Process" Нашел на просторах. Но и в этом случае облом. Похоже что-то снова с xsd. Брал и те, что на сайте ФИАС, и те что здесь выложены. Везде ошибка "Недопустимое имя объекта". Имя везде разное. По последнему xsd с этой ветки форума это ADDROBJ. Что-то за это время изменилось? Может кто поделится актуальным xsd? Спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:22 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Таблицы в базе созданы? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:24 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:25 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Я думал они сами создадутся. Руками эти таблицы устанешь создавать. А скриптов тоже нигде не видел. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:27 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Я если честно деталей уже не помню, ушли мы от прямого использования фиас на сервис https://dadata.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:30 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Wovan2, оно их и создаст если вы объекту sqlXmlBulkLoad выставите свойство SchemaGen в True, ну и если схема правильная ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:30 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
felix_ff, Спасибо. Продвинулся дальше. Ошибка, все-таки в в xsd. Теперь скрипт пишет Определение столбца UPDATEDATE должно содержать тип данных\ В xsd записано <xs:attribute name="UPDATEDATE" type="xs:date" use="required"> Нет типа xs:date? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:39 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Извините. Нашел ответ в начале этой ветки форума. (перечитал внимательней) Странно Xsd брал здесь же, вроде как правленный. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 12:47 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
эндиЯ думаю загрузка из xml на порядок быстрее загрузки dbf. Это достаточная причина? С чего бы это? Не говоря о трате оперативной памяти. dbf имеет записи фиксированной длины, не надо парсить структуру и т.д. Вычислительные затраты намного ниже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 13:08 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Пробовал чисто экспериментальным путем, штатными методами sql server. Вот через sqlbulkload скорость просто зверская, уровнь bcp. А DBF через штатного провайдера замучаешься заливать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 13:52 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Сейчас залил таб. ADDROBJ. Скорость около 6000 зап./сек. Споткнулся на заливке HOUSE после 20 мин. работы вывалилась ошибка: Значение атрибута не должно содержать знак "<". Что это? Ошибка в данных? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 15:28 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
я бы просто сделал валидацию xml файла по схеме, там сразу будет видно где и что неверно и исходном xml вплоть до строки ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 15:37 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
энди, Я тоже об этом думал. Но. Валидация файла в 22 Гб? И чем такой файл валидировать? Есть варианты. И еще. Может у SQLXMLBulkload есть какой-то параметр для пропуска ошибочных записей? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 16:00 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
я видел где-то код для sql Server проверки валидности xml файла по схеме, поищите, 100% было, и софтовые варианты были, но сходу в голову только xml spy приходит а проверит вполне нормально, 20гб это еще даже не суровый объем :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 16:14 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
энди, XMLSpy и XMLPad при попытке открытия файла вываливаются Out of memory :-( Этот ФИАС задолбал своими форматами. Вроде нащупал как с ними бороться, но облом. И не понятно в чем ошибка. В их файле или что-то у меня. Неужели при массовой загрузке нельзя как-то обрабатывать ошибки ввода? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2018, 17:11 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Добрый день. При импорте любых таблиц ФИАС'а что скриптом, Код: vbnet 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. что с помощью процедуры spXMLBulkLoad Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. получаю ошибку. Например, при импорте простейшей AS_SOCRBASE, получаю такое. Schema: relationship expected on 'AddressObjectType'. Таблица создана XSD и XML брал с сайта фиаса Хелп, господа, помогите пройти затык? SELECT @@version Microsoft SQL Server 2008 R2 (SP3) - 10.50.6220.0 (X64) Mar 19 2015 12:32:14 Copyright (c) Microsoft Corporation Developer Edition (64-bit) on Windows NT 6.1 <X64> (Build 7601: Service Pack 1) SQLXML 4.0 SP1 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2018, 10:15 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Как я понял все дело в кривоватых xsd схемах с сайта ФИАСа. Господа, поделитесь, пожалуйста, правлеными схемами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2018, 11:17 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
на предыдушей странице посмотри, вроде выкладывали ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2018, 11:24 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
энди, спасибо, видел. К сожалению они не работали... пока я не допер и не сменил date->dateTime. Да и не все схемы там. Несколько (2-3) пришлось с ФИАСа брать и переделывать под SQL по аналогии. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2018, 16:34 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
NVT, А не поделитесь схемами для загрузки? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.01.2019, 14:36 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
Схемы пожалуйста ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.12.2020, 16:07 |
|
||
|
Загрузка ФИАС через spXmlBulkLoad
|
|||
|---|---|---|---|
|
#18+
DimaMorozov, https://habr.com/ru/post/451720/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.12.2020, 07:33 |
|
||
|
|

start [/forum/topic.php?fid=46&msg=39604089&tid=1685286]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
27ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
58ms |
get tp. blocked users: |
1ms |
| others: | 231ms |
| total: | 357ms |

| 0 / 0 |
