Oracle Warehouse Builder :))

А в чем характер "загрязнений"?

Тужибаев Тимур авторOracle Warehouse Builder :))

А в чем характер "загрязнений"?

Не совсем понял в чем юмор, ну да ладно :)

Загрязнения: одни и теже сущности обозванны по разному (названия организаций: то ООО "Рога и копыта", то рога и копыта и т.п.)

Базы трех типов: Excel, Access, SQLServerНу я просто всегда советую OWB. Этот юмор понятен старым жителям форума :)

В OWB есть специальный компонент MATCH-MERGE который нужен как раз для очистки грязных данных. Там можно выбрать и настроить разные алгоритмы очистки и сопоставления.

Тужибаев ТимурПонятно. А OWB вышеописанные типы БД потдерживает?Ему все равно. Он поддерживает те типы, к которым может присоединиться Oracle. А Oracle может.
Да, кстати, для работы OWB нужна СУБД Oracle EE.

Тужибаев Тимур Birkhoff Тужибаев ТимурПонятно. А OWB вышеописанные типы БД потдерживает?Ему все равно. Он поддерживает те типы, к которым может присоединиться Oracle. А Oracle может.
Да, кстати, для работы OWB нужна СУБД Oracle EE.

Уууу.. ну начинается! Чтобы воспользоваться этой кнопочкой вам надо поставить эту маааленькую програмку, которая работает на этой небольшой платформе, которой надо офигительную БД. А полехше варианты есть?Товарищ, вы попросили посоветовать вам case без всякой вводной информации (есть у вас Oracle нет у вас Oracle, какие объемы грязных данных и т.д.) Я вам посоветовал case, где такой функционал есть. Если вам что-то не нравится по какой то причине - дело ваше.
Я вам ничего не продаю.

но чтобы это реализовать - нет готовых решений - типа кнопочка, с указанием источников, правил очистки и в результате - чистая табличка. Сергей, почему нет то? А match-merge в OWB?
Или я чего то не понял.

Другое дело, что 100% результата очистки ни одно средство не гарантирует.
Если вам нужно очистить 100 записей в неделю или даже в день, проще вообще посадить девочку, которая за 15 минут в день это сделает.
А если поток грязных данных, это миллионы записей в неделю, то надо либо держать штат "девочек", либо использовать систему, которая хотя бы 95% вычистит автоматом, а уж оставшиеся 5% все равно придется руками.
Но 50 000 записей почистить все равно проще, чем миллион.
На этом и экономятся деньги и время.

P.S. Если не хочется использовать OWB (ну и там оракл за кадром :) ) - то детализируй задачу и требования.Вот с этим - согласен.

kosourТ.е. разница между match-merge и кнопочкой очистки данных - примерно как между глиной и тарелкой сделанной из этой глины. Просто match-merge - способ быстрее слепить тарелку. Но не сама тарелка :)

Ближе к исходному примеру - ведь наверняка среди источников нет таблички, в которой описаны все варианты написания ООО "Рога и Копыта" - чтобы сделать по ней lookup и выбрать правильный вариант.

Типа
Company_synonym (
Base_Description varchar2(255),
Synonym_Description varchar2(255) )Сергей, может быть в не видели match-merge, он построен по другому. Это набор алгоритмов, причем необязательно типа прямого lookup-a. Там есть разные весовые, нечеткие алгоритмы, которые ищут похожие строки именно по сходству, а не потому что они где-то отлукаплены. Можно делать цепочку фильтров, в том числе и самописных, для того чтобы очищать то, что прошло через предыдущий фильтр.

Это по сути продукт в продукте.
Раньше это был продукт Oracle Pure Integrate, который продавался за отдельные деньги, а потом в силу того, что он к ETL очень близок его интегрировали в OWB в виде отдельного оператора, но все аолгоритмы там остались внутри.