Доброе время суток всем.
Очень нужна помощь и совет! Сил больше нет. Уже неделю взрывают моск куча вопросов, ответы на которые яндекс не находит. Я пишу макросы на VBA, но на очень дилетантском уровне. Потому, все дается очень тяжело и медленно. По порядку.

Есть интернет магазин (ИМ) на OpenCart’е, использующий базу MySql.
Есть большие таблицы Excel с десятками тысяч товаров. Синхронизацию «Excel <=> 1С» я уже сделал. Теперь хочу сделать полную синхронизацию «Excel <=> ИМ» (новые товары, апдейт имеющихся товаров по остаткам и ценам, новые категории, атрибуты и т.п.)

С самого начала работы над ИМ, развернул «песочницу» на Денвере и все шло хорошо и быстро. Добавить или обновить ~8 тыс. товаров можно было в рамках 1 мин. Когда выложил ИМ на сервер, лафа закончилась. Запись новых товаров и апдейт старых стали до ужаса медленными! На запись 50 новых товаров уходит 1,5-2 минуты! Подключение стало нестабильным и нужно грузить именно по 50 шт… Пока приостановил выгрузку 15 тыс. товаров.

Подключение и все операции с SQL базой делаю из VBA через ADODB.Connection:


На сегодня рабочая, но очень медленная схема добавления/апдейта товара в ИМ настроена напрямую: подключаюсь к удаленной MySql базе и записываю/обновляю в удаленных таблицах все данные по товарам. Пример:


Возможна ли такая схема, которая подразумевает заполнение (добавление новых строк или апдейт старых) в локальных SQL-таблицах локальной базы MySql, а потом «выгрузку» этих таблиц в удаленную базу ИМ, на сервере? Можно ли все изменения производить в локальной “Мастер-базе” и постоянно выгружать определенные ее таблицы на сервер, в такую же базу? Что для этого нужно? Какие команды использовать, чтобы реализовать это из-под «ADODB.Connection»?

Идеальная схема, какая крутится в моем дилетантском воображении:
1) Устанавливаю MySql у себя на Win7 и создаю локальную базу ИМ (LocalBase), по образу и подобию удаленной (RemoteBase).
2) Вношу много изменений в таблицы локальной базы…
3) Делаю “замену” таблиц.

I. Обновление таблиц посредством Sql-запросов
Целый день убил на поиски возможности просто скопировать табличку из Sql-базы одного сервера на другой. Так и не разобрался, как прикрутить методы “Linking The SQL Servers” или “parallel processing” к моим “ADODB.Connection” запросам.

I.1 Подключаюсь к разным базам и инициирую рекордсеты:


А потом хочу сделать что-то типа Remote_Recordset = Local_Recordset
Ну или же как-то так:


Или как-то так:


Но, ничего из этого не работает, т.к. после “FROM” нужен объект “таблица”. Неужели, чтобы скопировать табличку с сервера на сервер, единственный вариант в цикле переписывать все строки и поля одного Рекордсета в другой? Если да, дайте, пожалуйста, ссылку на рабочий код такого извращенства…

II. Обновление таблиц посредством выгрузки/загрузки дампов
Если описанное в п. I не работает, возможно, поможет дамп нужных локальных таблиц с последующей их “загрузкой” в серверную базу:

II.1 Проверил команду “SELECT * INTO OUTFILE” на удаленном сервере. Не заработала (‘Object required’). Надеюсь, заработает на локальном такая строка:


Полагаю, таким образом дамп-файл (*.sql) не сделать…?

II.2 Нашел такой вот консольный вариант создания дампа локальной базы посредством mysqldump (надеюсь, это сработает на Денвере):
C:\Server\bin\mysql-5.7\bin\mysqldump.exe -c -u{user} -p{pass} LocalBaseTable_product > C:\databasename.tablename.sql

II.3 Допустим, я выгружу таблицу в файл и заброшу этот файл дампа или *.txt в {какую-то папку} на сервер, а дальше… ума не приложу, как мне, используя “ADODB.Connection” из VBA, загрузить дамп в удаленную базу. К примеру, будет ли работать такое решение:


Думаю, файл “LocalBaseTable_product.sql” будет разыскиваться в каких-то установочных папках MySql, к которым у меня нет доступа на хостинге…

II.4 Загрузка таблиц через “LOAD DATA” (из файла)
На dev.mysql.com написано много, но нифига мне, балбесу, не понятно, как это будет работать в моем случае. Нет ни одного примера загрузки из дампа (*.sql), все только из *.txt. И, насколько понял из этой статьи, у меня на хостинге должен быть доступ к установочной папке MySql (/var/lib/mysql/basename/). Скажите, есть ли у меня шансы в моем случае загрузить таблицы в свою удаленную базу посредством “LOAD DATA”?

II.5 Загрузка дампа средствами SQL
Как мне из VBA запустить серверную команду: “mysql -uLOGIN -PPORT -hHOST -pPASS DBNAME < Table_product.sql”? С таким я вообще не сталкивался.

Подскажите, какая схема приемлема в моем случае? Буду очень признателен за советы, рекомендации, программный код и ссылки на умные ресурсы.

Круто) не ожидал такой быстрый и развернутый ответ!! Спасибо большое, Akina! Только, Вас не затруднит дописать к ответу еще немножко кодов, которые я смогу использовать в строках типа


Иначе мне очень сложно Вас понять. Программер из меня совсем никудышний ((
Касательно LOAD DATA, если Вы имеете в виду загрузку файла в таблицу при помощи


Где в этом случае должен лежать мой файл ‘product.csv’ ? я писал, что "у меня на хостинге нет доступа к установочной папке MySql (/var/lib/mysql/basename/)"

Касательно "пакетной загрузки" - это ужасный и самый последний вариант. Если правильно понял, это загрузка десятков тысяч элементов одной таблицы в другую в цикле...

Ваши пункты 4. и 5. - это именно то, что мне нужно!! Это именно то, что я уже который день ищу и не могу найти! Я не могу создать никакую таблицу на удаленном сервере из рекордсета или на основании локальной таблицы! Я был бы Вам очень признателен за коротенький код, который я смогу разместить в своем формате и протестировать п. 4. и п. 5:

Akina, благодарю, что не оставили меня с моей проблемой... )

Нет, таблицы я умею создавать и права на это имеются ) Ключевая фраза здесь “ на основании ”. Я не могу создать таблицу в удаленной базе на основании таблицы из локальной базы! Если одной фразой озвучить мою беду, получится так: «Нужно передать локальную таблицу из локальной базы в удаленную базу».

Есть 2 одинаковые базы с одинаковыми таблицами. В локальную базу вносятся изменения и эти изменения должны передаваться в удаленную. Есть ли более цивилизованный способ синхронизации таблиц 2 разных баз (на разных серверах), кроме как перебор в цикле десятков тысяч полей таблиц и пересылка этих блоков?

Входящие условие: доступа к установочным папкам MySql на хостинге у меня нет ("LOAD DATA" наверное не сработает)

Еще, напомню, что я работаю через ODBC-подключение "DRIVER={MySQL ODBC 8.0 ANSI Driver}". Потому, в моем случае, я смогу подключиться к обоим базам как-то так:
LocalBase_Connection.Open ‘подключаюсь к локальной базе…
RemoteBase_Connection.Open ‘подключаюсь к удаленной базе…

и дальше, все действия с синхронизацией таблиц смогу делать только посредством команды "Execute"
RemoteBase_Connection.Execute "КОМАНДЫ"

Я не силен в SQL, но похоже, не существует конструкции типа
RemoteBase_Connection.Execute " ПОДКЛЮЧИТЬСЯ/ВСТАВИТЬ/ОБНОВИТЬ Remote_Table FROM Local_Recordset "

Знатоки SQL, отзовитесь! Неужели мой вопрос очень сложный или нестандартный..? Нужно элементарно перекинуть табличку с одного сервера на другой, используя ODBC-подключение к этим серверам!

Дормедонт Евлампиевич, ну не издевайтесь Вы надо мной!! ))
Ну, объясните же мне дуралею на пальцах, что это такое "обычный пакетный запрос"... У меня не работает команда


Система выдает ошибку )

Akina,

AkinaУ MySQL есть такая настройка, как secure_file_priv...
Спросил об "secure_file_priv" у поддержки хостинга... жду ответ

AkinaВо-первых, как я понял, таблица-приёмник имеет абсолютно ту же структуру. Тогда нет ничего проще, как
CREATE [TEMPORARY] TABLE new_table_name AS existed_table_name;
Создаётся таблица-копия, не содержащая данных и имеющая новое имя. Не копируются также триггеры. Всё остальное - индексы, ограничения, даже комментарии,- копируются в полном объёме
Это простое решение предполагает создание новой таблицы (new_table_name) на одном и том же сервере, на котором находится таблица existed_table_name. Для разных серверов, если правильно понял, в этом случае необходимо решение с "FEDERATED Engine".

Решение с "FEDERATED Engine" немного запутанное для меня. Стараюсь разобраться, настроить и протестировать.
Большое спасибо за код выгрузки. Если не разберусь с "FEDERATED Engine", буду писать обработку, разбивающую таблицу на запросы по 1000 строк

Akina,
AkinaА самому сделать SELECT @@secure_file_priv - сложно, да?
Да, наверное, сложновато... Я же говорил, что я балбес... Просто я совсем не понимаю, что это. Мне нужно пару дней, чтобы разобраться в этом, полазить по форумам и, если посчастливится найти похожую на мою ситуацию... Просто, я думал, что настройку "secure_file_priv" нужно делать на хостинге, а прав у меня там нет никаких.

Поддержка хостинга спрашивают, устроит ли меня импорт базы "по SSH командой mysqldump"?... А я опять не понимаю, что это такое. Если я правильно понимаю, я не могу запускать никаких консольных команд на стороне сервера. Вобщем, буду разбираться с этим SSH-решением (

Потому я и просил Вас немножко подробнее описывать решения, которые можно использовать в моем случае... В идеале, хотя бы с небольшим программным кодом, который я смог бы втиснуть в свою конструкцию
Connection.Execute "скопировать несчасную локальную табличку на удаленный сервер"

Akina,
Всю ночь тестировал со службой поддержки команду "SOURCE dump.sql".
Пойду посплю пару часов... Буду признателен за какую-то идею или подсказку по причине ошибки

Akina,
А у Вас разве не работает ссылка из моего предыдущего поста?
Вот, собрал в пдф и выложил у себя: http://bnfit.ru/admin/dumps/file.pdf

вадя,
Спасибо за совет. Буду иметь в виду, что так тоже можно. Но, все же, задача ведь до смешного проста: "перекинуть табличку с локального сервера на удаленный". Здесь ведь вопрос в нескольких строках программного кода. Чем устанавливать дополнительное ПО, лучше включить эти пару строк в свой проект...
Только, я уже начинаю терять веру, что у меня получится запустить эти пару строк (

AkinaТа, которая требует логин и пароль? работает, как не работать... только вот кто бы ещё логин с паролем сказал Блин... ну я же предупреждал, что я балбес ))
AkinaУвы, всё, чем Вы занимались - одна сплошная ошибка. SOURCE - это команда CLI клиента mysql.exe, и MySQL-сервер о её существовании даже не подозревает Вот по тому то я и просил отправить мне немного программного кода... Вижу 2 варианта решения моей проблемы:

I) SSH
Почитал здесь , что использование запросов через SSH подразумевает использование утилиты PLINK, а также подключение к своему проекту библиотек (VBMySQLDirect.dll, libmysql.dll). Конкретных примеров нет и мне нужен месяц, чтобы с этим всем разобраться.

II) SQL-запросы "SELECT * INTO OUTFILE" и "LOAD DATA INFILE"
1) Запускаю для локального сервера /УДАЧНО!/:


2) Запускаю для удаленного сервера /УДАЧНО!/:


3) Запускаю для удаленного сервера /ОШИБКА!/:

'Ошибка: The used command is not allowed with this MySql version

Akina, помогите мне, пожалуйста с этой чертовой последней строкой! Как мне ее изменить, чтобы она заработала? Для локальной базы следующая строка ведь нормально работает!


Что-то в путях к файлу наверное не то... Такая конструкция с полным путём также выдает ошибку

выдает: "Access denied for user 'tinkan_bnfit'"

Akina, Близнец,
Спасибо Вам огромное за советы и потраченное на меня время. Вторая бессонная ночь дала свои плоды). У меня наконец-то получилось синхронизировать тестовые таблицы на разных серверах. Немного позжее опишу свои мучения и выложу результаты.