Обе программы написаны на Java, собраны в виде единого JAR файла и довольно компактные. В них вложено не мало труда и они нашли уже свою аудиторю. И вот я решил что можно познакомить с ними и широкую общественность.
Начну с загрузчика из CSV/XLSX.
Предыстория. Можно пропустить :)
По работе часто приходится получать от заказчика разного рода справочники в виде файлов Excel или CSV, если повезёт. До поры до времени всё шло нормально, грузили всё это добро в базу пол-уручными способами и особо не горевали.
Но в какой-то момент нам прислали здоровущий(больше гигабайта не сжатых данных) CSV файл упакованный в ZIP. И вроде бы всё ничего, можно было бы его загрузить как обычно, набравшись немного терпения, но данные были с подставой - там были дубликаты в в ключевых полях. Это под чистую убивало многие другие способы загрузки, потому что загрузка валилась раз за разом приходилось искать кривую строчку удалять запускать заново. Кроме того, по ходу дела необходимо было осуществлять операции преобразования над данными. Вот я и решил сделать простую и универсальную утилиту под это дело. Решено - сделано. Через пару дней она была готова!
Теперь о сути:
интерфейс командной строки (позволяет готовить сохранаять *.cmd (или *.sh) файлы и использовать их повторно)
пакетный режим заливки данных (высокая скорость загрузки)
пропуск сбойных строчек (с выводом их в лог) и продолжение загрузки
возможность простого использования функций БД для преобразования данных на этапе загрузки
Если заинтересовало -
скачивайте архив , смотрте примеры.
Теперь перейдём ко второй части представления - программе, которой в процессе работы пользуется вся моя команда ежедневно.
LogMonitor
Лирическое отступление..
Все знают, как можно мониторить логи по SSH. tial -f и понеслась. Все знают как пользоваться grep, а некоторые даже слышали про less. Но есть одна одновременно простая и сложная заковыка - выводы в логи реальных систем очень редко бывают однострочными. А меня, например часто интересуют полные выводы в лог, содержащие мой логин к примеру. Так и родилась идея написания программки, позволяющей иметь всё что нужно для эффективной работы с онлайн логом на кончиках пальцев. В итоге мир увидело сие чудо.
Ключевые особенности:
работа через SSH (использование *.pem, работа через прокси и даже возможность поднимать SSH туннели)
непрерывная подргрузка свежих данных и умный автоскролл
задание паттерна начала строки который служет признаком начала одного вывода в лог (блока)
четыре вида фильрации лога:
показ/сокрытие только тех блоков, которые содержат заданную подстроку
поках/сокрытие только тех строк, которые содержат заданную подстроку (аналог grep)
Фильры можно задавать последовательно, они работают все вместе с условием ИЛИ. Сначала блочные, после них строчные.
Поиск с подсветкой найденных значений.
Скачивание полного файла лога (с попыткой предварительно его сжать с помощью ZIP или GZIP).
Показ отдельным окном блока по которому был дабл клик (при этом там будет отформатирован XML если найдётся).
конфигурация посредством простого xml конфига. Кроме того сохраняются между запусками списки использовашихся фильтров.
встроенная справка по F1 (правда показывается только если открыт какой нибудь лог и фокус находится в "чёрном окне")
возможность задать размер ширфтов (для любителей retina)
Скачать можно по ссылке
Download Log monitor 3.9
Обе программы с открытыми исходниками всё добро лежит
тут .
Прошу строго не судить за многословие, ну и за возможные баги в программках ;)
