Моя задача сравнить данные из двух источников.
Источники - разные системы, и как следствие и модели представления данных не идентичны и по формату не идентичны. Но обе системы экспортируют в CSV. Мне нужно найти где данные отличаются.
Я загружаю данные в эксел (некоторые не влязет, тут вобше засада), и начинается возня со связываен таблиц,
сравнением ключевых полей, сравнеий сумм, наличия тех-же ключей, ит.д.

Процесс проходится повторять когда приходят новые данные.
Хочется автоматизма и кнопочек.
Определить источники данных, view для данных и т.д. и просто по команде перезапускать.
И всё это на лету, без базы данных (окромя embedded), для одного пользователя.
Подскажите, какй инструмент мне нужен.
И есть такой бесплатный.

maytonНепонятно что за автоматизм требуется. Типа мышкой перетащил файлы 1.csv, 2.csv.
И получил сразу отчот по различиям?
для начала визуализация. Типа экселя с фильтром и с vlookup.
Потом что бы созданное представление можно было записать
и использовать дальше для просмотра и анализа. Типа viev.
Ну а в завершении получится такой агрегированный view
со списком того что я наковырял.
Своего рода интерактивный data meaning.
В последсвии всё это сохранить и по мере поступления свежих данных пересчитывать.

Dima TVisual FoxPro ?
Понятия не имею.
Что то среднее между эксель и базой данных на внешних данных
но без ручных sql и загрузки/ обновления базы по команде.
Чего нибуть с гуем.

OpenRefine пока нагуглил но вроде не совсем то.

Я в первом посте написал «модели представления данных не идентичны»
Надеюсь понятно что это значит?
На пальцах обясню: в одном записано, 2019-05-20.
В другом записано понедельник 21 недели 2019 года.
Это если совсем просто.

maytonСмета только что подросла на порядок. А эти варианты дат будут перечислены нам? Или надо
будет вводить какой-то искусственный интеллект? Даже такой пустяк как отличить месяц от дня
может выливаться в дилемму если мало данных.
С датами проблемы нету, это только
как пример разного представления одних и тех же данных.
Главное понять - одни и теже данные могут иметь разное представление.
Тачка на плоскости может быть представлена как в полярных так и декартовых коорданатах, и во многих других системах / моделях. Но точка одна.

Roman Mejtesкак я понял, автору нужно получить diff двух csv файлов


if all you have is a hammer, everything looks like a nail

maytonmikron,

Можешь приаттачить образец твоих файлов?
Тут конкретный формат или модель не так важны. Задача на другом уровне абстракции.
Нужен инструмент для решения подобного рода задач.
Похоже для моей задачи нашлось имя нашлось имя

maytonData Wrangling - это относится больше к технологиям bigdata.
с чего ты это взял? Там есть описани инструмента - как раз то что я написал: накликать мышкой, интерактивно и в реалном времени проверить результат, сохранит как скипт и проиграть по надобности. Такое на BigData не работает - очень сложно в реалном времени проворачивать. Да и не нужно.

mayton,
Qlik хороший продукт, и платный :)

alex55555,
ETL и ELT похоже только на первый взгляд.
Разница в подходах.