|
Спасибо всем за ответы.
Vadim Lejnin,
1. Как я написал, выгрузку делаю несколько раз в месяц.
2. Сети нет.
3. Задержка возможна. Сейчас она составляет несколько часов (путем загрузки-выгрузки CSV файлов) и это вполне устраивает.
4. Сейчас пока пытаюсь решить задачу собственными силами и с теми правами доступа, которые есть.
5. Пока речь про oracle, если это имеется ввиду под типом. Версии могут быть разные, но близкие.
6. Пока нет.
Опишу задачу подробно.
Работаю аналитиком (ближе к research, а не к системному аналитику). Копаюсь в разных данных, от обзоров рынков до анализа информационных систем (в т.ч. транзакционных). Зачастую аналитическая часть (в т.ч. дашборды) в различных системах работают криво и непонятно руководству. Поэтому пытаюсь посмотреть на исходные данные, правильно их очистить и сделать аналитику, понятную и нужную руководству. С получением доступа к БД всегда непросто, иногда удается выбить доступ на чтение таблиц, иногда получается достичь договоренности только о предоставлении выгрузок в формате CSV файлов.
Если анализ интересен, то периодически просят повторить его по свежим данным (т.е. обновить презентацию, или краткий табличный отчет). Руководство работает с месячными срезами обычно, но иногда просят сделать отчет по состоянию на вчера (поэтому задержка даже в несколько часов вполне устраивает). Приэтом зачастую просят проанализировать в данных какой-то новый аспект, доработать отчет.
У каждой системы существует исполнитель в лице ИТ-компании подрядчика и внутреннее подразделение, которое курирует систему. Но они, как правило, заняты в первую очередь бесперебойностью работы системы и доработкой кучи внутренних вещей (в т.ч. интерфейсных). На широкий, свежий взгляд со стороны у них не остается времени. Наверное поэтому и аналитическая часть у них работает криво. Моё же руководство пытается смотреть не только на одну сферу, но и на все сферы вместе, сравнивать данные из различных систем и источников. При этом нужны не только верхнеуровневые цифры, но и полная детализация до конкретных объектов (например, нужно сравнить какие объекты есть в одной системе и нет в другой, и наоборот).
Мой опыт показывает, что 90% аналитических отчетов в различных системах "мертворожденные", ими никто не пользуется. И это связано с тем, что сначала пишут ТЗ, пилят разработку, а уже потом начинают анализировать сами данные по тем отчетам, которые получились. В результате вылезает много несостыковок.
Кроме того, когда отчет запилили оказывается, что он нужен был только на один раз и больше его никто, даже ежемесячно не смотрит.
Поэтому в нашем подразделении мы используем следующий подход:
1. Получаем доступ к данным (БД или CSV).
2. Анализируем ошибки и очищаем данные. В случае работы с CSV проходит несколько итераций (иногда выгружают не всё или совсем не то).
3. Пишем свои скрипты формирования табличных отчетов, выгружаем из в EXCEL + рисуем презентации на их основе.
4. Презентуем руководству, дорабатываем на основе пожеланий, которые возникают только после взгляда уже на конкретные цифры.
5. Дополняем отчет в случае каких-то новых событий или нового фокуса в организации (когда нужно посмотреть на явление с новой стороны).
6. В случае если какой-то отчет пользуется спросом несколько периодов подряд и возникает потребность в его регулярном мониторинге, делаем полную автоматизацию отчетов и интеграцию систем силами ИТ-компании подрядчика.
Но полная автоматизация это всегда долгая история: нужно сформировать ТЗ, разыграть новый тендер, + несколько месяцев на разработку и отладку (чтобы он наконец стал сходится с тем, что мы готовили "на коленке" относительно "вручную"). Когда речь идет об ежемесячной аналитике, на мой взгляд, в такой автоматизации редко бывает смысл, хотя и делают её относительно часто.
Надеюсь, достаточно подробно описал стоящие задачи =)
Если возвращаться к конкретике:
1. Stax прав. Хочу уйти от ГУИ. Например, по одной из задач приходят 30 CSV файлов, строчки из которых надо добавить в соответствующие 30 таблиц. Приходится кликнуть на каждую из таблиц, выбрать файл, выбрать разделители, указать столбцы и т.д. То есть на каждую таблицу нужно около 20 кликов (монтонные действия, в которых к тому же легко ошибиться) + постоянно мониторить, что один файл загрузился и запускать следующий. Вместо этого хотелось бы класть файлы с подходящими названиями в нужную папку на локальном компе, а дальше запускать скрипт, которые будет все делать за меня.
2. В случае, когда я работаю с другими БД хотелось бы более быстрый способ выгрузки-загрузки. Файл csv выгружается довольно быстро, а вот грузится порой долго (например, 1 млн записей на 200 мб, иногда грузится около 1 часа). При этом у меня пока нет возможности положить файл на сервер и уже с сервера загружать в БД.
|
