|
|
|
Парсер логов
|
|||
|---|---|---|---|
|
#18+
mayton Leonid Kudryavtsev, я тоже не делал ИИ системы за деньги. Но ты доволен качествов вычленения номера счета? Может для этой задачи это - нормально реализовано? Пока не было авансов и номер счета ровно 10 символов - нормально 1) Но теперь по закону должны быть еще авансы / предоплаты - а там человек может до получения счета оплатить ((( Просто "аванс за февраль" или "предопл. за фев." или "предопл. за февраль по счету N 01234" Предоплаты разумеется могли быть и раньше (минимальное кол-во). Но теперь они обязательны. Узаконненная думой (хотя по факту противозаконная) обдираловка потребителей в пользу ресурсоснабжающих организаций. 2) Потенциально могут быть частные лица. А они могут платить не по счет-фактуре, а просто по номеру лицевого счета. Пока их не очень много, их обрабатывают вручную. Ну или если интернет платежи (кредитные карты), то там формат единообразный. p.s. такая задачи передо мной пока не стоит, но сама по себе задача разбора назначения платежа - в природе существует. AFAIK ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.10.2020, 15:04 |
|
||
|
Парсер логов
|
|||
|---|---|---|---|
|
#18+
Leonid Kudryavtsev mayton Leonid Kudryavtsev, я тоже не делал ИИ системы за деньги. Но ты доволен качествов вычленения номера счета? Может для этой задачи это - нормально реализовано? Пока не было авансов и номер счета ровно 10 символов - нормально 1) Но теперь по закону должны быть еще авансы / предоплаты - а там человек может до получения счета оплатить ((( Просто "аванс за февраль" или "предопл. за фев." или "предопл. за февраль по счету N 01234" Предоплаты разумеется могли быть и раньше (минимальное кол-во). Но теперь они обязательны. Узаконненная думой (хотя по факту противозаконная) обдираловка потребителей в пользу ресурсоснабжающих организаций. 2) Потенциально могут быть частные лица. А они могут платить не по счет-фактуре, а просто по номеру лицевого счета. Пока их не очень много, их обрабатывают вручную. Ну или если интернет платежи (кредитные карты), то там формат единообразный. p.s. такая задачи передо мной пока не стоит, но сама по себе задача разбора назначения платежа - в природе существует. AFAIK Я думаю что сочетания фраз которые легко и очень сильно обрабатывает спам-фильтр здесь очень подходит. Тоесть приспособить фильтры наподобие спамовских для этой задачи - будет более органично чем для кластеризации лог-сообщений которую решаю я параллельно. Аргументация такая. Вы можете вручную указать что учебная выборка является счетом к оплате и таким образом обучить систему. В классификаторе логов это лишено смысла т.к. новый класс заведомо не известен. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.10.2020, 14:10 |
|
||
|
Парсер логов
|
|||
|---|---|---|---|
|
#18+
По поводу логов. Некрасиво получается. Так и эдак. Если рассматривать функцию как итератор то внутри получается логика которая должна реагировать на 4 типа событий. 1) Начало лога 2) Принята строка 3) Принята строка с меткой времени 4) Конец лога. И если делать это с точки зрения ГЕНЕРАЦИИ событий message то логика ПРОСТАЯ. А с точки зрения обработки событий 4х типов которые я просто обязан реализовать чтоб корректно отпарсить получается много писанины. Я тут вспомнил про co-routines. Волшебные функции которые даны нам уже в Kotlin/GoLang и которые по моему мнению позволят реализовать этот кусок кода изящнее. И мне как перфекционисту кодирования конечно интересен именно изящный подход. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.10.2020, 14:21 |
|
||
|
Парсер логов
|
|||
|---|---|---|---|
|
#18+
mayton По поводу логов. Некрасиво получается. Так и эдак. Если рассматривать функцию как итератор то внутри получается логика которая должна реагировать на 4 типа событий. 1) Начало лога 2) Принята строка 3) Принята строка с меткой времени 4) Конец лога. И если делать это с точки зрения ГЕНЕРАЦИИ событий message то логика ПРОСТАЯ. А с точки зрения обработки событий 4х типов которые я просто обязан реализовать чтоб корректно отпарсить получается много писанины. Я тут вспомнил про co-routines. Волшебные функции которые даны нам уже в Kotlin/GoLang и которые по моему мнению позволят реализовать этот кусок кода изящнее. И мне как перфекционисту кодирования конечно интересен именно изящный подход. Мне кажется, что с точки зрения обработки логика не будет сильно сложная. Просто её не надо делать в одном месте. Т.е. в рамках одного потока сообщений/событий создаются обработчики для n-типов обработчиков, которые обрабатывают строго один свой тип. Как их разделять, в виде корутин и/или микросервисов зависит, от предыдущих архитектурных решений. ИМХО может быть вообще посмотреть в сторону Spark+Hadoop. Хотя лично я бы начал c Kafka. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.10.2020, 08:34 |
|
||
|
Парсер логов
|
|||
|---|---|---|---|
|
#18+
Коробочное решение - это плагин для ELK. Но я не хочу связываться с elk, т.к упор все таки хочу сделать не на логи а на некий fuzzy text processing Spark-hadooop это тоже хорошо, но они вторичны по отношению к модельке. Будет модель и набор параметров - тогда можно и написать mapper-reducer. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.10.2020, 08:55 |
|
||
|
Парсер логов
|
|||
|---|---|---|---|
|
#18+
mayton Коробочное решение - это плагин для ELK. Но я не хочу связываться с elk, т.к упор все таки хочу сделать не на логи а на некий fuzzy text processing Spark-hadooop это тоже хорошо, но они вторичны по отношению к модельке. Будет модель и набор параметров - тогда можно и написать mapper-reducer. Т.к. на вход у вас идет не "чистые модельки", а сырые данные, формат которых может быть какой угодно, ибо строка. То из этой "руды", нужно выцепить какой-то смысл. Поэтому её пропускаем через кучу фильтров. Причем для одного и того же "типа" может быть несколько фильтров, в зависимости от исходных данных. Так что map-reduce вполне норм. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.10.2020, 12:00 |
|
||
|
|
start [/forum/topic.php?fid=59&msg=40011536&tid=2120648]: |
0ms |
get settings: |
24ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
50ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
161ms |
get tp. blocked users: |
1ms |
| others: | 17ms |
| total: | 287ms |
| 0 / 0 |
