powered by simpleCommunicator - 2.0.48     © 2025 Programmizd 02
Форумы / Java [игнор отключен] [закрыт для гостей] / Расширенный Поиск подстроки
102 сообщений из 102, показаны все 5 страниц
Расширенный Поиск подстроки
    #39873511
Zafar Z
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вечер добрый.

Как расширить значение поиска подстроки в строке
К примеру "поиск машины тоета" находит именно эту строку. Но если пользователь набрал: "оиск ашины тоет" (заметьте я специально пропустил некоторые буквы с начала и конца слов) то результат будет нулевым. Использую следующее:

If(subject.toString().toLowerCase().contained(charSequence))

Конечно можно использовать внутри условия некий условный цикл с перебором и придумывать алгоритм , но если есть "скоростное" решение. зачем заново велосипед придумывать.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873519
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873520
soundex не поможет?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873528
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zafar ZК примеру "поиск машины тоета" находит именно эту строку. Но если пользователь набрал: "оиск ашины тоет" (заметьте я специально пропустил некоторые буквы с начала и конца слов) то результат будет нулевым. Использую следующее:вообще это поиск - в базе, там всё решено.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873623
Zafar Z
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пришлось написать маленький алгоритм используя разбивку текста на слова (split) или же можно было сделать по другому?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873625
Zafar Z
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пришлось написать маленький алгоритм используя разбивку текста на слова (split) или же можно было сделать по другому?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873626
Zafar Z
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пришлось написать маленький алгоритм используя разбивку текста на слова (split) или же можно было сделать по другому?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873627
Zafar Z
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пришлось написать маленький алгоритм используя разбивку текста на слова (split) или же можно было сделать по другому?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873628
Zafar Z
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пришлось написать маленький алгоритм используя разбивку текста на слова (split) или же можно было сделать по другому?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873630
Zafar Z
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пришлось написать маленький алгоритм используя разбивку текста на слова (split) или же можно было сделать по другому?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873633
Zafar Z
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мои извинения отправлял с телефона. Надеюсь админы удалят повторные сообщения .
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873634
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zafar Z,

Твоя задача звучит как нечеткий текстовый поиск.

Ключевые слова: soundex, metaphone, bigram analyze, text index.

Гугли. Находи.

То что ты накодил - это туфта. Не обижайся за правду.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873638
vas0
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonZafar Z,

Твоя задача звучит как нечеткий текстовый поиск.

Ключевые слова: soundex, metaphone, bigram analyze, text index.

Гугли. Находи.

То что ты накодил - это туфта. Не обижайся за правду. fuzzy search
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873642
chpasha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вы конечно все правы, но есть ненулевая вероятность того, что ему достаточно like
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873677
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
chpashaно есть ненулевая вероятность того, что ему достаточно likeвероятность близка к 1,
такой
Zafar Z"оиск ашины тоет"
возможен с like, но это в базе.
странно искать так в java, это очень долго..., да и количество записей ограничено
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873708
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадя,

Like не является аналогом fuzzy - поиска.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873741
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1) Soundex в java (это совсем жлобский вариант)

http://commons.apache.org/proper/commons-codec/apidocs/org/apache/commons/codec/language/Soundex.html

но это поиски заточенные на английский. Как будет с кириллицей ХЗ надо тестить.

+Metaphone
http://commons.apache.org/proper/commons-codec/apidocs/org/apache/commons/codec/language/DoubleMetaphone.html

2) Apache Lucene (надо самому всё кодить)

https://lucene.apache.org/

(здесь я буду Кеп очевидность потому что в Джава реально ЛЮБЫЕ текстовые поиски в конечном счете
приходят к Апач Люсин)

3) ELK (коробочное решение но надо быть намного архитектором чтобы правильно всё собрать) и главное
поменьше платить провайдеру.

https://www.elastic.co/what-is/elk-stack
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873743
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вот у меня есть данные по времени поиск в mysql при помощи like & like &...
в 28 000 и 10 000 000 записях. а есть ли у кого подобный данные для java?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873762
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадявот у меня есть данные по времени поиск в mysql при помощи like & like &...
в 28 000 и 10 000 000 записях. а есть ли у кого подобный данные для java?
Типо ты сам не из java))
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873776
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну like это просто аналог substr, по 99% использований.

Поэтому если юзер тайпает "мос гор бол" имея в виду Московская Гордская Больница то чтобы
такой поиск работал нужна предобработка исходных данных для того чтоб они были подходящими
для индекса. Опять-же разбить на лексемы и проиндексировать каждую отдельно. Как - миллион
технологий есть но все они являются просто подмножеством fuzzy поиска.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873804
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC SharpТипо ты сам не из java))типо есть спецы и круче
maytonПоэтому если юзер тайпает "мос гор бол" имея в виду Московская Гордская Больница то чтобы
такой поиск работал нужна предобработка исходных данных для того чтоб они были подходящими
для индекса.вот тут есть интересное сравнение (опять таки на mysql)
если 5.7+ поиск в 10 000 000 длился 30 сек, то в 8.+ 4 сек (это когда вводится заведомо не существующее, т.е. поиск по все таблице)
maytonНу like это просто аналог substr, по 99% использований.
действительно, тогда такое "оиск ашины тоет" надо разбить на 3 substr и объединить по &
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873807
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадя, при чем тут MySQL ?

Афтор пишет в форум Java. Логичным будет предлагать ему решение в контексте.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873813
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonвадя, при чем тут MySQL ?

Афтор пишет в форум Java. Логичным будет предлагать ему решение в контексте.мне интересна причина постановки такой задачи на java и поэтому как вариант для сравнения - mysql.
судя по примеру поиска число записей у тс не маленькое. насколько оправдан такой поиск?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873816
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадя,
Например в фирме только java разработчики
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873819
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Неохота обсуждать MySQL пока автор не подтвердит что его такое решение тоже устроит.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873820
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC SharpНапример в фирме только java разработчикину тогда нет смысла говорить о качестве конечного продукта.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873821
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonНеохота обсуждать MySQL пока автор не подтвердит что его такое решение тоже устроит.дак вот что-то ТС затих.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873822
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадяPetroNotC SharpНапример в фирме только java разработчикину тогда нет смысла говорить о качестве конечного продукта.т.е. опять цветочный магазин ....
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873831
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадя,
У тебя тоже цветочный)
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39873834
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC SharpУ тебя тоже цветочный)ну нет, я делаю всё для юзера...
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39874372
Zafar Z
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Искренне благодарю всех участвующих. Знаю что мой алгоритм абсолютная туфта так этот тип поиска срабатывает только в 20% из 100. Честно говоря пока не было времени но обязательно рассмотрю все ваши советы не исключая ни кого. Ещё раз искренне человеческое спасибо всем за ответы. Постараюсь ещё раз попытаться правильно поставить не вопрос а проблему поиска в базе. Одна запись состоит из целого текста , если скопировать этот текст то получается стандартный формат страницы ms word В 200 страниц. К примеру если все слова оиск ашины тоет находится в ОДНОМ ПРЕДЛОЖЕНИИ или хотя бы в том же АБЗАЦЕ то результат поиска идеально подходит для пользователя. Но если ОЕТА найдена в первой странице а АШИНА в 120 странице то поиск опять найдет ту запись так это ОДНА ЗАПИСЬ, хотя эти два слова не будут связанны друг с другом со значением и не будет иметь смысла для 'ищущего' пользователя, их объединяет только одна запись в базе данных.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39874373
Zafar Z
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати на скорость поиска не жалуюсь даже на старых андроид устройствах поиск продолжается не долго. Использую SQLite.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39874375
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zafar Z,

Если что есть lucene . ;-)
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877412
Zafar Z
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дорогие участвующие всем всем огромное спасибо, начал тестирование с Lucene и о да чудо! Классная штука! Другим тоже буду советовать, то что надо, в будущем другие тоже постараюсь протестировать как время свободное найдется, но пока остановлюсь на чудо люценке!
Всем удачи.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877451
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ты со своей люценкой по шапке получишь от тимлида
в твоем случае используют оператор LIKE
поиск по заданным параметрам осущестляется на стороне базы
ты же хочешь вытащить из базы все и прогнать через эту шляпу?ты в своем уме дядя?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877467
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79ты со своей люценкой по шапке получишь от тимлида
в твоем случае используют оператор LIKE
поиск по заданным параметрам осущестляется на стороне базы
ты же хочешь вытащить из базы все и прогнать через эту шляпу?ты в своем уме дядя?
Это нормальный юзкейс для толстых текстовых поисков. Так работает Google.
Индексирует асинхронно и обновляет специализированные струкуры данных
которые работают для поисков токенизацией и лемматизацией текстов.

Обычно LIKE в БД не дает возможности делать сложные поиски быстро. Пример с "%МОС%ГОР%БОЛ%"
выключает индекс БД и будет работать full-scan операция. А она убивает производительность.

Вот и бизнес выбирая между быстрым асинхронныим и текстовым поиском и медленным синхронным
поиском по БД, решает использовать Lucene(Elastic Stack), Sphinx, e.t.c.

Время отклика - решает. Будет ли клиент сёрчить миллиард записей в таблице через LIKE или какой-то
умный поиск по деревьям текстового поиска с шардингом.

Есть еще вариант - использовать модули текстового поиска БД но они обычно ограниченные в функционале
и плохо поддерживают локаль. Грубо говоря там все хорошо когда английский текст. Кириллица обычно не работает.
Или надо что-то крутить и вертеть на уровне глубокого знания этого модуля.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877485
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79,
Если у него обучение, это одно. Если боевой проект, то конечно нужно профит смотреть.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877512
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
смотря в каком объёме искать.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877532
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это должно исходить от заказчика. Сколько секунд или минут он согласен искать "Московскую Городскую Больницу"
в справочнике?

Этот вопрос должен стоять во главе топика. Всё остальное - не имеет значения. Заказчик должен быть happy.
Если он - не happy то все ваши архитектуры и умные технологии не имеют никакого значения. Выкинуть на свалку.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877618
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp,
если таблица до млн записей как мне скзаали никаких проблем использвать LIKE
а далее уже нужно индексы использовать
в любом случае это лучше отдать на откуп БД,как бы там есть инструменты для этого
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877623
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot mayton][
я сомневаюсь что автор пишет второй гугол.
а как работает этот люцен-он же не в базе ищет?тоесть сначала нужно достать все из базы -и куда то засунуть-потом это дело передать в люцене?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877627
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79,
Ну вот пример.
Мне нужны из логов все АБЗАЦЫ с WARNING.
Что тогда?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877632
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79,
У меня админка с выводом лога сервера. В логе 10 000 строк.
Поэтому на андроиде в планшете виснет.))))
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877637
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharpasv79,
Ну вот пример.
Мне нужны из логов все АБЗАЦЫ с WARNING.
Что тогда?
а ты логи в базу пишешь?весьма странное решение
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877639
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharpasv79,
Ну вот пример.
Мне нужны из логов все АБЗАЦЫ с WARNING.
Что тогда?
Почитай про ELK в части LogStash. Там есть коробочное решение для быстрого поиска по логам.

https://www.elastic.co/products/logstash
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877645
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79а ты логи в базу пишешь?весьма странное решениеох. Все возможно в нашем мире)).
Oracle в своём APEX все в базу пишет. Даже js.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877647
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
OK
Я же ленивый))
Пока ротацию поправил с 2 гигов по умолчанию на ежедневную)).
В рыбе сервере 2 гига текста это же сколько строчек в логе!!!
А мой планшет наверно всего 100 мегов свободно))
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877649
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Зачем тебе тянуть логи на планшет?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877650
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЗачем тебе тянуть логи на планшет?админка. Смотреть надо)).
Счас посмотрел. 10 000 строк 800 кБт.
На компе открывает моментом в эксплорере. На планшете виснет. Там миниОпера.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877653
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
На компе я делаю Сохранить как... и на диск из оперы.
Потом в notepad++
Там есть крутой поиск с "Пометить всё".
Теперь все warning красным.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877678
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тяжко тебе. А если лог перевалит за терабайт?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877692
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonТяжко тебе. А если лог перевалит за терабайт?я же н админ. Это хобби с удочкой. Если ротация есть как он перевалит?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877694
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
Я кстати пример привел как раз для люцене и против LIKE
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877710
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC SharpmaytonТяжко тебе. А если лог перевалит за терабайт?я же н админ. Это хобби с удочкой. Если ротация есть как он перевалит?
Ну дай бох.

Я кстати специально поднимал отдельные Log4j appenders которые пишут только ошибки. Так грепать легче. И размер стократ меньше.
И если что-то срочное анализировать то всегда быстрее. А потом кому не хватит шлака - идёт спокойно в полный
лог. С инфо. С дебагом и трейсом.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877728
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
Да. Конечно файл с ошибками должен быть отдельно.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877732
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вообще если говорить о мониторинге здоровья системы в целом. То логи неудобны.
Есть много решений которые паблишат статус приложения. С графиками. С цветными лампочками.
Вобщем… логи это такое дело. Ну почитал ты с телефона. Стектрейс длинный. Все равно разбираться
с телефона неудобно. Надо ехать к ноутбуку.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877739
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonВсе равно разбираться
с телефона неудобно. Надо ехать к ноутбуку.вот спорно это.
Планшет 10 дюймов это неплохо. Туть суть что в дороге.
А лампочки я могу и в планшет присобачить.
На работе то 20 дюймов. Поэтому зачем ноут?
Отмирает?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877744
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton, пример
Код: java
1.
2.
[2019-10-17T11:46:00.466+0000] [glassfish 5.0] [WARNING] [AS-WEB-GLUE-00277] [javax.enterprise.web] [tid: _ThreadID=17 _ThreadName=RunLevelControllerThread-1571312756218] [timeMillis: 1571312760466] [levelValue: 900] [[
  An authentication method was not defined in the web.xml descriptor. Using default BASIC for login configuration.]]
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877746
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну и о чем это? Ранжировано как WARN. Некритично.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877750
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonНу и о чем это? Ранжировано как WARN. Некритично.это сервер решил не критично. На самом деле очень критично - аутентификация.
Наверно сервер тупой.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877752
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Оберни в ERROR. И сможешь ее видеть в логе ошибок который в 100 раз меньше. Как я советовал.

Жисть себе упростишь.

Вообще - несоотвествие левлов - это большая проблема для анализа здоровья системы.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877757
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonОберни в ERRORа как это делается?
Ты о постобработке логов уже их читая потом утилитами?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877760
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надо подумать. Я не знаком с Glassfish, но я знаю что система логгирования + современный веб-сервак
это чортов Lego конструктор. Можно собрать что надо.

Не бох весть какая ракетная наука.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877765
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
Ладно. Я ошибку поправил. По логам отследил. Не буду в дела админов лезть.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877766
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
По поводу Basic Authentication. Что это по сути? Это изменённый хедер запроса.
Если его зарубить на уровне nginx к примеру то никто этот метод использовать не сможет.
Следовательно проблемы такой не будет никогда.

Да и вообще кому он нужен? Современные приложения ходят по другим методам.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877779
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonBasic Authenticationэто для защиты достаточно в web.xml поставить одно слово и всё. Приложение защищено. Выше ошибка была что слово не верно было прогером написано.
...
Уровень защиты в зависимости от паранойи каждый решает сам.
Меня за 5 лет никто не ломал)).
Ну и на работе где нет сниффинга в сетке тоже можно.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877786
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharpmayton, пример
Код: java
1.
2.
[2019-10-17T11:46:00.466+0000] [glassfish 5.0] [WARNING] [AS-WEB-GLUE-00277] [javax.enterprise.web] [tid: _ThreadID=17 _ThreadName=RunLevelControllerThread-1571312756218] [timeMillis: 1571312760466] [levelValue: 900] [[
  An authentication method was not defined in the web.xml descriptor. Using default BASIC for login configuration.]]

ошибочно было написано в веб.xml
auth-method>BASE Вместо BASIC.
И приложение было публично открыто всем.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877793
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC SharpМеня за 5 лет никто не ломал)).
Ну и на работе где нет сниффинга в сетке тоже можно.
Помнишь анекдот про Неуловимого Джо?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877821
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
Да конечно))
Но нет проблем.
Ставим вместо слова другое слово FORM.
И тоже все работает.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877824
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Забавно. Но нельзя написать модульный тест подтвердающий что твоя система надёжна.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877835
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЗабавно. Но нельзя написать модульный тест подтвердающий что твоя система надёжна.ну дак это еще от java EE6 пошло. А сервера обязаны реализовать.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877844
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это пошло от инфо-безопасности. Чтоб доказать что твоя система надёжна - заказывают внешнюю проверку.
Penetration test. Звучит как порнуха. Пенетрейшен бл..ть.

Так вот. Тебя просто еще никто не пенетрировал.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877854
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonТак вот. Тебя просто еще никто не пенетрировал.
))))
LOL
Я жду не дождусь этого момента. Ну пенетрируйте меняяяя))
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877860
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Заплати нефтедолларов сначала. Иш какой хитрый.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877865
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
я сделал оповещение по по телеге когда кто-то тыкается на сайт.
есть интересная статистика - ломятся перебирая адреса страниц из известны цмсок на пхп.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39877972
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадяя сделал оповещение по по телеге когда кто-то тыкается на сайт.
есть интересная статистика - ломятся перебирая адреса страниц из известны цмсок на пхп.Зачем оповещение в телеграм, если эта (боянистая) информация элементарно извлекается из логов веб-сервера???
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878020
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. SidorovЗачем оповещение в телеграм, если эта (боянистая) информация элементарно извлекается из логов веб-сервера???для этого надо подключаться к серверу, открывать эти логи, искать в них., тем или иным способом
а так оперативно поступает сообщение - такой-то ip, к такую-то страницу хочет посмотреть.
сообщения можно отключить, можно поуправлять сервером.
просто удобно
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878024
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадя,
Почему не в ватсапп? У тебя разве телеграмм?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878033
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorovвадяя сделал оповещение по по телеге когда кто-то тыкается на сайт.
есть интересная статистика - ломятся перебирая адреса страниц из известны цмсок на пхп.Зачем оповещение в телеграм, если эта (боянистая) информация элементарно извлекается из логов веб-сервера???
Наверное смысл в системе мониторинга с alerts. Но здесь вообще нет программирования.
Софт для мониторинга написан 100 раз и админы и девопсы его давно используют.

Telegram, Whatsup - просто различные виды юайчиков которые у кого-то установлены. У кого-то нет.
Вкусовщина вобщем. И тоже вопрос не программерский. Скорее вопрос принятия решения. У кого
из отвественных админов стоит какой апликух и проголосовать.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878053
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharpвадя,
Почему не в ватсапп? У тебя разве телеграмм?для ватсапп боты как-то не встречал.

maytonTelegram, Whatsup - просто различные виды юайчиков которые у кого-то установлены. У кого-то нет.
Вкусовщина вобщем. И тоже вопрос не программерский. Скорее вопрос принятия решения. У кого
из отвественных админов стоит какой апликух и проголосовать.
да тут поле деятельности широкая, можно использовать готовое, можно написать своё. приложение для андроид и ws как какал (как пример варианта)
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878075
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я никогда не кодил телеграм-приложения. Но я вижу что их повсеместно дают как тестовые задания для джунов.
Делаю вывод что API - простой. И скорость интеграции Telegram из этого становится привлекательной.

Скажите нахера делать своё приложение если есть браузер и мессенжеры с открытым API. Телеграм конечно
может йо..нуться когда будет зобанен этим вашими надзорами везде и всегда. Но вероятность этого мала.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878078
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЯ никогда не кодил телеграм-приложения. Но я вижу что их повсеместно дают как тестовые задания для джунов.
Делаю вывод что API - простой. И скорость интеграции Telegram из этого становится привлекательной.да достаточно просто и куча информации.
maytonСкажите нахера делать своё приложениетут есть одно преимущество - ни от чего не зависишь.
maytonНо вероятность этого мала.но не равна нулю.....
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878081
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадя, ты кодил под Андроид?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878085
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
Знаю что вадя не любит прокладки и деления ИС на слои. Боюсь он в телеграмм пишет прямо из сервлета на Get.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878096
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonвадя, ты кодил под Андроид?да , делал приложение андроид - сервер - браузер (если грубо так описать)
PetroNotC SharpБоюсь он в телеграмм пишет прямо из сервлета на Get.можно слать сообщения из любого места, тут нет ограничения , так же как и для ws.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878098
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нет смысла решать проблему любой ценой. Когда я учился (конец 90х) мы писали дипломные проекты.
И там была экономическая часть. Я не знаю пишут щас ее или нет. Вобщем суть такова. Программист - это
не просто кодер сферических лошадей. Это - хозяйственник. Он - считает сколько стоит его решение.
Джоули. Ватты. Рубли и доллары. Польза для народного хозяйства вобщем-то.

А современные программисты любят нагревать атмосферу планеты земля. В частности майнингом крипты.
А фиг-ли. Работает значит можно.

Еще пример. Мы с другом как-то хотели кодить веб-приложение типа гугл-мап. В те времена когда мап еще не существовало.
ГИС-ы были но были платные. Но суть в том что мы решили кодить Под Microsoft.ISS на С++. Подкидывая библиотечки
как CGI скриптики. Мы думали что так быстрее. Разумеется про обратный прокси мы не слыхали. Про трёхзвенки - слабо понимали.
Вобщем все это медным тазом накрылось. Силы свои не расчитали. Надо было брать PHP. Максималисты что поделать.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878101
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадяможно слать сообщения из любого места,то есть я угадал. Из сервлета.
А что будет если включат цикл запросов for 1000 на твой урл?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878104
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonвадя, ты кодил под Андроид?могу сказать даже больше не только под андроид, даже для ардуинки. и связь через ws управление силовым железом даже очень увлекательно. и отображение состояния в реальном времени в браузере вообще в кайф
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878106
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадяmaytonвадя, ты кодил под Андроид?могу сказать даже больше не только под андроид, даже для ардуинки. и связь через ws управление силовым железом даже очень увлекательно. и отображение состояния в реальном времени в браузере вообще в кайф
Я имею в виду .. ты ставил Android SDK? Брал Kotlin и кодил апликухи с графикой?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878110
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC SharpА что будет если включат цикл запросов for 1000 на твой урл?всё зависит от твоей продуманности, связь ведь не односторонняя, можно и отключить сообщения, можно вообще отключить сервер... часть его..
ну а реально - счас когда начинают долбить - идет пересылка на страницу с командой sleep и эта бомбёжка растягивается на длительное время, а то и отваливаются по таймауту..
maytonВобщем все это медным тазом накрылось. Силы свои не расчитали.но зато есть опыт
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878112
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЯ имею в виду .. ты ставил Android SDK? Брал Kotlin и кодил апликухи с графикой?котлином не пользовался, да Android SDK, андроид студио...
было приложение меню для ресторанов.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878113
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадяmaytonЯ имею в виду .. ты ставил Android SDK? Брал Kotlin и кодил апликухи с графикой?котлином не пользовался, да Android SDK, андроид студио...
было приложение меню для ресторанов.
А оно есть в Market?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878122
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonА оно есть в Market?это было не для маркет, это была система для "замены" официантов, формирование заказа, оповещения официанта о готовности заказа, отсылки заказа на кухню, вызова официанта... но это было до кризиса 8-9гг.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878129
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тоесть скачать нельзя?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878130
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадясчас когда начинают долбить - идет пересылка на страницу с командой sleepне понял. Распиши как узнать начало, если хороший клиент и тот кто долбит вперемежку.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878136
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадяPetroNotC SharpА что будет если включат цикл запросов for 1000 на твой урл?всё зависит от твоей продуманности, связь ведь не односторонняя, можно и отключить сообщения, можно вообще отключить сервер... часть его..
ну а реально - счас когда начинают долбить - идет пересылка на страницу с командой sleep и эта бомбёжка растягивается на длительное время, а то и отваливаются по таймауту..
Есть технологические решения. RateLimiter (Guava). Не использовал но должно работать.
Cirquit Breaker (Jetix). Там есть развитый мониторинг здоровья системы. Если было исключение
например по базе SQLException то можно лавочку прикрыть на некоторое время. Клиент
будет получать соотв. плейсхолдер с сообщением о перегрузке и т.п.

И можно покупать Amazon API Gateway, там есть много настроек по ограничениям и по спасению
приложения от атак.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878146
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonТоесть скачать нельзя?да, одно оно само по себе не работало, только в системе. привязка к столу, официанту, обслуживающего этот стол.
PetroNotC Sharpне понял. Распиши как узнать начало, если хороший клиент и тот кто долбит вперемежку.есть портал ( ). на нем есть общедоступная часть, есть приватная часть
т.к. это сделано на кошаке - то адреса portal.ru/xxx
начинают бомбить подбирая страницы из перечня цмс-ок. ну а xxx - там явно нет.
ну а первая зона обороны - apache2, разбирает строки подключения и куда надо пересылает.
хороший клиент - идёт по публичным страницам. хитрожопые отсылаются на страницу со sleep,
апач добавляет QUERY_STRING с адресом и прочими параметрами эта страница и отправляет в бот сообщения
как-то так если очень коротко
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878151
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадя,
Так бы и сказал что апач впереди.
А портал это просто большой сайт))
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878152
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonКлиент
будет получать соотв. плейсхолдер с сообщением о перегрузке и т.п.ну у меня нечто и есть, для любопытны отсылал на порнхаб, но это роботы и к порнухе они холодны.
да можно купить , а можно и самому придумать, просто из интереса.
конечно всё будет реально оценено при реальных нагрузках/атаках....
но .... это отдельная статья расходов.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878155
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Эта статья расходов появляется как "ложка к обеду" и когда "петух клюнул".

Если вы и ваш бизнес никому не нужны то и никто не будет вас теребить. А если у вас завтра
стартует маркетинг-акция то цена защиты от конкурентов может очень даже резко вырастию.
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878157
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC SharpТак бы и сказал что апач впереди.
А портал это просто большой сайт))если без апача нужно кучу всего самому городить.
это интересно, но это отдельная тема. сделать можно, но где гарантии?
...
Рейтинг: 0 / 0
Расширенный Поиск подстроки
    #39878160
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonЕсли вы и ваш бизнес никому не нужны то и никто не будет вас теребить. А если у вас завтра
стартует маркетинг-акция то цена защиты от конкурентов может очень даже резко вырастию.это так, пока я оцениваю что называется цена/качество.
как говорится на любую ж.. с поворотом найдётся х.. с крючком.
а от терморектального анализа защиты нет...
но могу сказать, что ни за что не буду реальную систему делать на cms на php.
...
Рейтинг: 0 / 0
102 сообщений из 102, показаны все 5 страниц
Форумы / Java [игнор отключен] [закрыт для гостей] / Расширенный Поиск подстроки
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]