powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
9 сообщений из 9, страница 1 из 1
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
    #38806910
ognivo777
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Обе программы написаны на Java, собраны в виде единого JAR файла и довольно компактные. В них вложено не мало труда и они нашли уже свою аудиторю. И вот я решил что можно познакомить с ними и широкую общественность.

Начну с загрузчика из CSV/XLSX.

Предыстория. Можно пропустить :)
По работе часто приходится получать от заказчика разного рода справочники в виде файлов Excel или CSV, если повезёт. До поры до времени всё шло нормально, грузили всё это добро в базу пол-уручными способами и особо не горевали.
Но в какой-то момент нам прислали здоровущий(больше гигабайта не сжатых данных) CSV файл упакованный в ZIP. И вроде бы всё ничего, можно было бы его загрузить как обычно, набравшись немного терпения, но данные были с подставой - там были дубликаты в в ключевых полях. Это под чистую убивало многие другие способы загрузки, потому что загрузка валилась раз за разом приходилось искать кривую строчку удалять запускать заново. Кроме того, по ходу дела необходимо было осуществлять операции преобразования над данными. Вот я и решил сделать простую и универсальную утилиту под это дело. Решено - сделано. Через пару дней она была готова!

Теперь о сути:
интерфейс командной строки (позволяет готовить сохранаять *.cmd (или *.sh) файлы и использовать их повторно)

пакетный режим заливки данных (высокая скорость загрузки)

пропуск сбойных строчек (с выводом их в лог) и продолжение загрузки

возможность простого использования функций БД для преобразования данных на этапе загрузки

Если заинтересовало - скачивайте архив , смотрте примеры.


Теперь перейдём ко второй части представления - программе, которой в процессе работы пользуется вся моя команда ежедневно.
LogMonitor

Лирическое отступление..
Все знают, как можно мониторить логи по SSH. tial -f и понеслась. Все знают как пользоваться grep, а некоторые даже слышали про less. Но есть одна одновременно простая и сложная заковыка - выводы в логи реальных систем очень редко бывают однострочными. А меня, например часто интересуют полные выводы в лог, содержащие мой логин к примеру. Так и родилась идея написания программки, позволяющей иметь всё что нужно для эффективной работы с онлайн логом на кончиках пальцев. В итоге мир увидело сие чудо.

Ключевые особенности:

работа через SSH (использование *.pem, работа через прокси и даже возможность поднимать SSH туннели)

непрерывная подргрузка свежих данных и умный автоскролл

задание паттерна начала строки который служет признаком начала одного вывода в лог (блока)

четыре вида фильрации лога:

показ/сокрытие только тех блоков, которые содержат заданную подстроку

поках/сокрытие только тех строк, которые содержат заданную подстроку (аналог grep)

Фильры можно задавать последовательно, они работают все вместе с условием ИЛИ. Сначала блочные, после них строчные.

Поиск с подсветкой найденных значений.

Скачивание полного файла лога (с попыткой предварительно его сжать с помощью ZIP или GZIP).

Показ отдельным окном блока по которому был дабл клик (при этом там будет отформатирован XML если найдётся).

конфигурация посредством простого xml конфига. Кроме того сохраняются между запусками списки использовашихся фильтров.

встроенная справка по F1 (правда показывается только если открыт какой нибудь лог и фокус находится в "чёрном окне")

возможность задать размер ширфтов (для любителей retina)

Скачать можно по ссылке Download Log monitor 3.9

Обе программы с открытыми исходниками всё добро лежит тут .
Прошу строго не судить за многословие, ну и за возможные баги в программках ;)
...
Рейтинг: 0 / 0
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
    #38806967
Sheraton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Т.е. для того, что бы воспользоваться вашей утилитой, нужно устанавливать JRE?
...
Рейтинг: 0 / 0
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
    #38806977
ognivo777
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Sheraton, да, именно так. Но вроде бы это не проблема.. JRE около 15 мегабайт весит.. Зато позволяет использовать на любой платформе.
...
Рейтинг: 0 / 0
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
    #38806998
nolocky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ognivo777Обе программы написаны на Java

дальше можно не читать, сразу в треш
...
Рейтинг: 0 / 0
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
    #38807006
Sheraton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ognivo777Sheraton, да, именно так. Но вроде бы это не проблема.. JRE около 15 мегабайт весит.. Зато позволяет использовать на любой платформе.

В топку. Для того, что бы использовать на любой платформе, не нужно JRE, достаточно использовать кроссплатформенные библиотеки на С++.
...
Рейтинг: 0 / 0
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
    #38807015
Sheraton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
программа весит думаю килобайт 150 (не могу скачать точно, ссылка битая) для того, что бы запустить крохотную программу нужно 15 мегабайт ненужного шлака, который жрет ресурсы на компьютере и который после использования программы нужно удалять за ненадобностью.
...
Рейтинг: 0 / 0
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
    #38807026
Фотография Изопропил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ognivo777анный в ZIP. И вроде бы всё ничего, можно было бы его загрузить как обычно, набравшись немного терпения, но данные были с подставой - там были дубликаты в в ключевых полях. Это под чистую убивало многие другие способы загрузки, потому что загрузка валилась раз за разом приходилось искать кривую строчку удалять запускать заново
во временную таблицу залить не догадались?
...
Рейтинг: 0 / 0
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
    #38807051
ognivo777
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Так тоже не качается?
CsvExcelXLSX2DB.zip
LogMonitor 3.9.zip
...
Рейтинг: 0 / 0
Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
    #38807055
ognivo777
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Изопропил,

Догадались, только хотелось сделать легко повторяемое решение. Один раз настроил и потом что бы легко можно было заливать новые версии без необходимости выполнять ручные шаги.
...
Рейтинг: 0 / 0
9 сообщений из 9, страница 1 из 1
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Хочу поделиться самодельными тулами: загрузчик CSV/XLSX в БД; SSH log monitor с фильтрами.
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]