|
|
|
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
|
|||
|---|---|---|---|
|
#18+
Обе программы написаны на Java, собраны в виде единого JAR файла и довольно компактные. В них вложено не мало труда и они нашли уже свою аудиторю. И вот я решил что можно познакомить с ними и широкую общественность. Начну с загрузчика из CSV/XLSX. Предыстория. Можно пропустить :) По работе часто приходится получать от заказчика разного рода справочники в виде файлов Excel или CSV, если повезёт. До поры до времени всё шло нормально, грузили всё это добро в базу пол-уручными способами и особо не горевали. Но в какой-то момент нам прислали здоровущий(больше гигабайта не сжатых данных) CSV файл упакованный в ZIP. И вроде бы всё ничего, можно было бы его загрузить как обычно, набравшись немного терпения, но данные были с подставой - там были дубликаты в в ключевых полях. Это под чистую убивало многие другие способы загрузки, потому что загрузка валилась раз за разом приходилось искать кривую строчку удалять запускать заново. Кроме того, по ходу дела необходимо было осуществлять операции преобразования над данными. Вот я и решил сделать простую и универсальную утилиту под это дело. Решено - сделано. Через пару дней она была готова! Теперь о сути: интерфейс командной строки (позволяет готовить сохранаять *.cmd (или *.sh) файлы и использовать их повторно) пакетный режим заливки данных (высокая скорость загрузки) пропуск сбойных строчек (с выводом их в лог) и продолжение загрузки возможность простого использования функций БД для преобразования данных на этапе загрузки Если заинтересовало - скачивайте архив , смотрте примеры. Теперь перейдём ко второй части представления - программе, которой в процессе работы пользуется вся моя команда ежедневно. LogMonitor Лирическое отступление.. Все знают, как можно мониторить логи по SSH. tial -f и понеслась. Все знают как пользоваться grep, а некоторые даже слышали про less. Но есть одна одновременно простая и сложная заковыка - выводы в логи реальных систем очень редко бывают однострочными. А меня, например часто интересуют полные выводы в лог, содержащие мой логин к примеру. Так и родилась идея написания программки, позволяющей иметь всё что нужно для эффективной работы с онлайн логом на кончиках пальцев. В итоге мир увидело сие чудо. Ключевые особенности: работа через SSH (использование *.pem, работа через прокси и даже возможность поднимать SSH туннели) непрерывная подргрузка свежих данных и умный автоскролл задание паттерна начала строки который служет признаком начала одного вывода в лог (блока) четыре вида фильрации лога: показ/сокрытие только тех блоков, которые содержат заданную подстроку поках/сокрытие только тех строк, которые содержат заданную подстроку (аналог grep) Фильры можно задавать последовательно, они работают все вместе с условием ИЛИ. Сначала блочные, после них строчные. Поиск с подсветкой найденных значений. Скачивание полного файла лога (с попыткой предварительно его сжать с помощью ZIP или GZIP). Показ отдельным окном блока по которому был дабл клик (при этом там будет отформатирован XML если найдётся). конфигурация посредством простого xml конфига. Кроме того сохраняются между запусками списки использовашихся фильтров. встроенная справка по F1 (правда показывается только если открыт какой нибудь лог и фокус находится в "чёрном окне") возможность задать размер ширфтов (для любителей retina) Скачать можно по ссылке Download Log monitor 3.9 Обе программы с открытыми исходниками всё добро лежит тут . Прошу строго не судить за многословие, ну и за возможные баги в программках ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2014, 23:52 |
|
||
|
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
|
|||
|---|---|---|---|
|
#18+
Т.е. для того, что бы воспользоваться вашей утилитой, нужно устанавливать JRE? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2014, 10:23 |
|
||
|
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
|
|||
|---|---|---|---|
|
#18+
Sheraton, да, именно так. Но вроде бы это не проблема.. JRE около 15 мегабайт весит.. Зато позволяет использовать на любой платформе. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2014, 11:12 |
|
||
|
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
|
|||
|---|---|---|---|
|
#18+
ognivo777Обе программы написаны на Java дальше можно не читать, сразу в треш ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2014, 12:36 |
|
||
|
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
|
|||
|---|---|---|---|
|
#18+
ognivo777Sheraton, да, именно так. Но вроде бы это не проблема.. JRE около 15 мегабайт весит.. Зато позволяет использовать на любой платформе. В топку. Для того, что бы использовать на любой платформе, не нужно JRE, достаточно использовать кроссплатформенные библиотеки на С++. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2014, 12:44 |
|
||
|
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
|
|||
|---|---|---|---|
|
#18+
программа весит думаю килобайт 150 (не могу скачать точно, ссылка битая) для того, что бы запустить крохотную программу нужно 15 мегабайт ненужного шлака, который жрет ресурсы на компьютере и который после использования программы нужно удалять за ненадобностью. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2014, 12:48 |
|
||
|
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
|
|||
|---|---|---|---|
|
#18+
ognivo777анный в ZIP. И вроде бы всё ничего, можно было бы его загрузить как обычно, набравшись немного терпения, но данные были с подставой - там были дубликаты в в ключевых полях. Это под чистую убивало многие другие способы загрузки, потому что загрузка валилась раз за разом приходилось искать кривую строчку удалять запускать заново во временную таблицу залить не догадались? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2014, 13:27 |
|
||
|
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2014, 14:37 |
|
||
|
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
|
|||
|---|---|---|---|
|
#18+
Изопропил, Догадались, только хотелось сделать легко повторяемое решение. Один раз настроил и потом что бы легко можно было заливать новые версии без необходимости выполнять ручные шаги. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2014, 14:41 |
|
||
|
|

start [/forum/topic.php?fid=16&msg=38806977&tid=1341163]: |
0ms |
get settings: |
8ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
65ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
68ms |
get tp. blocked users: |
2ms |
| others: | 207ms |
| total: | 384ms |

| 0 / 0 |
