Здравствуйте!

Имеется проект в c#, файл с данными (CSV) порядка 10 тыс. строк и база MySql. Требуется импортировать данные в базу, при этом импортировать нужно не все колонки, имена полей в базе и файле разные т.е. нужно явно указывать как поля соотносятся (column mappings). Попробовал MySqlDataBulkLoader, но увы. Можно ли решить задачу напрямую в базе? В принципе, что посоветуете? Заранее спасибо.

Дормедонт ЕвлампиевичiMrTidy,

мне кажется, пока ждешь здесь ответа уже несколько раз можно написать парсер, хоть на том же C#, который превратит csv в балк-скрипт для mysql...

Я почти весь день потратил на это дело, поэтому парсер написан, даже в 2-х вариантах, но ни один не решает "красиво" задачу с column mappings и типом данных. В первом случае, данные сначала импортируются в Dictionary, а потом в базу при помощи Entity Framework, но имена и типы данных приходится задавать вручную. Во втором варианте, импорт идет через DataTable. И здесь можно задать имена полей динамически, пока не понятно как быть с типами данных. Есть идея определять их исходя из содержимого.

AkinaiMrTidyчто посоветуете?Импорт во временную таблицу и затем копирование в боевую.

В DataTable? А как посоветуете быть с column mappings и типами данных?

miksoftiMrTidy,

LOAD DATA INFILE

Возможно я не внимательно читал, но не нашел как можно явно указать какие поля каким должны соответствовать.

AkinaiMrTidyВ DataTable?Меня просто изумляет Ваше настойчивое желание сделать через задницу. Задача - передать файл в БД. Действующие лица: файл, СУБД. Какого хрена надо пытаться подсунуть какого-нибудь посредника? Тебе что, этот шарп взятку сунул? Его дело мелкое - передал приказ и свалил в сторону. А весь приказ - два запроса.

Я Вас не так понял, конечно посмотрю temp tables. Недоделанный код мне достался от предшественника, поэтому я спросил изначально:

iMrTidyМожно ли решить задачу напрямую в базе?

miksoftiMrTidyпропущено...


Возможно я не внимательно читал, но не нашел как можно явно указать какие поля каким должны соответствовать.
Далее по тексту есть примеры.

Я посмотрел, все равно получается, что прописывать придется вручную. Есть способ сделать это динамически, например, если есть таблица с соответствиями?

Уточню задачу. Файл csv содержит 50 колонок, имена и порядок которых могут меняться время от времени, могут добавляться новые и удаляться старые. Есть таблица в базе, в которой содержится 30 колонок, имена, позиции не соответствуют тем, что есть файле. Есть список, который будет обновляться пользователем, содержащий какая колонка файла соответствует колонке в базе. Колонки в базе имеют разные типы данных.

Всем спасибо за участие!

В итоге сделал парсер/адаптер, который переделывает исходный файл под нужный формат для таблицы в базе, а дальше действует MySqlBulkLoader.