Алексей, а почему не использовать закачку в MS SQL напрямую подключившись к нужной таблице? Ну, там через Linked Server или запросом через OpenRowSet()? Зачем нужен посредник в виде файла XML?

Ну, надо же и самому иногда думать

Вы хотите закачать данные в некую БД. Очевидно, лучше всего и быстрее всего будет использование групповых команд импорта этой самой БД. Следовательно, идете в форум по MySQL на этом сайте и выполняете поиск разных способов импорта данных. Скорее всего, там есть что-нибудь и про импорт из DBF. Я просто не в курсе, поскольку не работал с MySQL.

Далее встает вопрос, как запустить эту операцию импорта. Очевидно, надо "попросить" MySQL это сделать. Можно ли это сделать из среды FoxPro? А это уже зависит от выбранного способа импорта и возможностей драйвера ADO или ODBC. Ведь "просить" Вы будете через эти драйвера.

PS: Время импорта зависит не столько от количество записей, сколько от общего объема информации (в байтах), которое требуется передать на сервер. Ну, и от способа передачи, разумеется.

Кстати, можете попробовать создать CursorAdapter и поиграться его свойством BatchUpdateCount. По сути, это будет аналог передачи нескольких команд Insert-SQL в одном пакете.

Ну, я не работал с MySQL поэтому синтаксис сказать не могу. Надо спрашивать на форуме MySQL. Есть ли там такое вообще.

Ну, а чисто теоретически как "просить сервер"? Если установка соединения через ODBC, то это команда SQLExec(). Для MS SQL, например, это примерно так


Если соединение установлено через ADO, то, соответственно, надо будет создавть COM-объекты вроде ADO.Command и формировать соответствующие команды.

Наконец, вероятно, Вы этот момент не вполне поняли, но можно в одном пакете передавать несколько команд. Примерно так


Надо только уточнить, каким символом разделяются команды в среде MySQL. Будет ли достаточно пробела (как в приведенном примере) или надо что-то еще ставить. Например, точку с запятой или перевод строки

Кроме того, в данном варианте, как правило, есть ограничение на размер подобного пакета. Т.е. на количество символов в переменной strCommand. Обычно где-то в районе 8К, но опять же надо уточнять по документации драйвера

Примерно это и реализует настройка BatchUpdateCount, если Вы организуете взаимодействие с сервером через объект CursorAdapter. Т.е. Вы работаете с CursorAdapter как с обычной таблицей FoxPro, а он внутри себя сам сформирует нужные пакеты и пошлет их на сервер.

И наконец, если задача разовая, то стоит ли вообще заморачиваться оптимизиацией? 500 тысяч строк закачается относительно быстро. Не думаю, что будет дольше, чем минут 10..20 при самом худшем раскладе

PS: Можно пойти по пути создания командных файлов. Т.е. пользователь должен сформировать определенный файл и положить его в определенную директорию (пункт меню в приложении). Затем формируется командный файл и запускается через RUN. Но, опять же, если такое есть для MySQL.

Питон33Дело в том что 500 000 записей по одной команде загонять в MySQL - длится сутки даже по localhost.
"Не верю" (с) Не может такое относительно небольшое количество записей столько времени обрабатываться. Что-то Вы не договариваете. Какие-то у Вас идут дополнительные обработки не связанные с закачкой данных на сервер.

Может, приведете пример кода, как Вы это делаете?

Питон33Делать наверно просто через SQLPREPARE() весь цикл операций по передаче.
А затем дать SQLEXEC() всего один раз в конце и будет как мне кажется быстрее. (но это только предположение)
Да какой там план выполнения у команды вставки одной записи! Откуда возьмется ускорение-то? Впрочем, может это какая фича именно MySQL?

Питон33ВладимирМ"Не верю" (с) Не может такое относительно небольшое количество записей столько времени обрабатываться. Что-то Вы не договариваете. Какие-то у Вас идут дополнительные обработки не связанные с закачкой данных на сервер.
Поверьте это так. 500 000 записей, по одной записи обновляются в цикле командой MySQL UPDATE по уникальному ключу.
Процесс длится сутки.
Мы так будем еще месяца два обсуждать. То Вы заявляете, что Вам надо всего-лишь закачать таблицу DBF в базу MySQL, то теперь вдруг выясняется, что Вы выполняете какую-то модификацию. Поскольку Вы не можете внятно объяснить, что же именно Вы делаете, я и предлагаю Вам привести код выполняемых операций. Тогда и советы по оптимизации будут более предметными.


Питон33ВладимирМДа какой там план выполнения у команды вставки одной записи! Откуда возьмется ускорение-то? Впрочем, может это какая фича именно MySQL?
Ускорение будет, так как выполняются все команды сразу, а не по отдельности SQLEXEC()
Каждый раз SQLEXEC() ожидает ответа от сервера, иными словами 500 000 раз тормозит.
SQLPREPARE() просто подготавливает для выполнения, а выполнение будет в самом конце по команде SQLEXEC().
Похоже, Вы не понимаете, что именно делает сервер и для чего нужна команда SQLPrepare().

Любой сервер (любая СУБД) прежде, чем выполнить какую-либо команду предварительно строит план ее выполнения для того, чтобы выбрать наиболее оптимальный (наиболее быстрый) способ ее выполнения. Таким образом, выполнение команды разбивается на 2 этапа

- Формирование плана выполнения команды
- Собственно выполнение по сформированному плану

Так вот, команда SQLExec() выполняет обе эти операции. А SQLPrepare() - это предварительное построение плана выполнения запроса без собственно выполнения. А последующая SQLExec() - причем определенного вида - просто использует этот план.

Когда будет выгодно использование SQLPrepare()? Очевидно, при выполнении множества однотипных запросов (множество SQLExec() в цикле), для которых один и тот же план выполнения будет наиболее оптимальным. При этом, разумеется, для конкретного SQL-сервера должна иметься принципиальная возможность разделить операцию построения плана и собственно выполнение команды

Теперь, что именно Вы заявили с самого начала (что именно Вы делаете).

Питон33КАК ПЕРЕДАТЬ ВСЮ ТАБЛИЦУ DBF ОДНОЙ КОМАНДОЙ - ИЗ VFP В MYSQL ???
Любой человек работающий с базами данных однозначно интерпретирует подобную постановку задачи как Insert-SQL. Т.е. вставка новых записей. Не думаю, чтобы план построения команды на вставку записи отличался какой-либо сложностью и занимал много времени. Как следствие, SQLPrepare() в принципе не должен дать никакого заметного ускорения.

Однако далее вдруг возникает упоминание о каких-то UPDATE, что совершенно не вяжется с заявленной в начале темы постановки задачи. Вам надо не "передать таблицу", а обновить информацию в талице MySQL данными из таблицы DBF. А это уже принципиально другая постановка задачи.

Подобная задача в принципе не решается "одной командой". Никак. Никоим образом. Тут, как минимум, 3 этапа

- Обновить записи, которые есть и в MySQL, и в DBF
- Удалить записи, которые есть в MySQL, но нет в DBF
- Создать записи, которых нет в MySQL, но есть в DBF

Разумеется, чтобы выполнить сравнение таблицы MySQL и DBF их сначала необходимо "перелить" в общее хранилище. Либо DBF в некую временную таблицу MySQL, либо таблицу MySQL в таблицу DBF, либо их обоих в какое-то третье хранилище. А потом уже выполнять сравнение.

Так ЧТО Вы хотите сделать? Не надо словами. У Вас не очень-то получается. Приведите код. Не обязательно командами. Можно просто описание этапов действий, примерно так:

- Организуем цикл перебора записей в DBF
- Для каждой записи DBF ищем запись в MySQL
- Если нашли, то обновляем информацию
- Если не нашли, то создаем новую запись в MySQL
- (...)

Вы ЭТО делаете или что-то другое?

Питон33Вы просто переписали мои же слова.
Если в цикле стоят команды UPDATE и выполняются 500 000 раз, тогда
SQLPREPARE() совместно с SQLEXEC() будет работать быстрее чем просто SQLEXEC()
Это предположение . Но далеко не факт, что именно так и будет.

Питон33Для этого подготавливаем группу команд для MySQL по средством SQLPREPARE()
А в самом конце даём один раз SQLEXEC()
Не так. Вы опять ничего не поняли. Вот пример из справки FoxPro по команде SQLPrepare()

Видите в чем дело? Используется параметризированный запрос. Другими словами, последующий SQLExec() выполняет тот же самый запрос , просто меняет параметр искомого значения. Сам запрос не изменился. Изменилось только искомое значение.

Что требуется в Вашем случае - совершенно непонятно. Вы все время уходите в сторону не желая сознаться, что же Вы делаете. Вот я и прошу уже в который раз написать ЧТО Вы делаете?

Питон33По-скольку мне надо закачать DBF на сервак, а работать с форматом MySQL.
SQLPrepare() к этому вопросу вообще не имеет никакого отношения.

Питон33ВладимирМНаконец, вероятно, Вы этот момент не вполне поняли, но можно в одном пакете передавать несколько команд. Примерно так


Надо только уточнить, каким символом разделяются команды в среде MySQL. Будет ли достаточно пробела (как в приведенном примере) или надо что-то еще ставить. Например, точку с запятой или перевод строки

Проверил, не работает ни точка с запятой, ни пробел.
Плохо проверяли, да и ленитесь сами искать. Неоднократно же "посылали" на форум по MySQL. Поиск по фразе "несколько команд" сразу выдал ссылку

http://dev.mysql.com/doc/refman/5.0/en/c-api-multiple-queries.html

Т.е. разделителем команд является точка с запятой, следовательно синтаксис должен быть такой


Однако предварительно надо дать понять MySQL, что один запрос может содержать несколько команд. Для этого в строке соединения указать опцию CLIENT_MULTI_STATEMENTS или указать эту опцию отдельной настройкой после установки соединения

MySQLMySQL 5.0 also supports the execution of a string containing multiple statements separated by semicolon (“;”) characters. This capability is enabled by special options that are specified either when you connect to the server with mysql_real_connect() or after connecting by calling` mysql_set_server_option().


Питон33SQLPREPARE() тоже не помогает.
И не должен помочь. Вам уже неоднократно объяснили, что SQLPrepare() вообще о другом.

Питон33tanglirПитон33,

а создать файловый DSN и прочитать его, как я выше писал, попробовал? Обратить внимание на то, что OPTION в данном случае - это ЧИСЛО, попробовал?
Нашёл!
Но вы ни за что не догадаетесь! :)
OPTION=67108864
Когда решение найдено найти на него ссылки гораздо проще Оказывается надо было искать по ключевому слову FLAG_MULTI_STATEMENTS. Например, есть ссылки здесь

http://www.sql.ru/forum/actualthread.aspx?tid=478429

67108864 = 2^26

Питон33Должен не согласиться с вами.
Тема на которую вы дали ссылку слишком обобщённая.
Ну, в этой теме отмечены 2 момента

1. Перечислены значения OPTION для строки соединения и что они обозначают
2. Показан пример закачки таблицы в MySQL. Причем начиная с создания ее структуры и кончая формированием пакета команд на вставку многих записей. Правда, там надо поставить ограничитель на размер формируемой строки, чтобы можно было использовать и для данного случая.

А так, фактически готовое решение для данной задачи. Один из вариантов решения, разумеется.