powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Про алгоритм имитации отжига
25 сообщений из 49, страница 1 из 2
Про алгоритм имитации отжига
    #40001136
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Правильно ли я понял (*), что в алгоритме имитации отжига систематически производятся переходы в точку, худшую, чем предыдущая, и при этом предыдущая (лучшая) точка забывается?

Правильно ли я понимаю, что таким образом нет гарантии, что финальная точка будет наилучшей из всех тех, которые мы перебрали?
_______________________
* https://ru.wikipedia.org/wiki/Алгоритм_имитации_отжига
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001138
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я думаю что если будет 2 глубоких оврага примерно равных по глубине то есть риск что точка скатится
в тот овраг который будет не самый глубокий но выкатится из него назад уже не сможет т.к. температура
атомов уже понизилась настолько что сил хватает "вибрировать" но выпрыгнуть наверх уже нет.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001236
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton, на вашем примере, вопрос состоит в том, что алгоритм имитации отжига может на начальной стадии работы побывать в "самом глубоком овраге", потом из него выпрыгнуть и больше так в него и не вернуться.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001275
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хотя нет. Пока беру свои слова назад.

Может и не так.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001322
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
Правильно ли я понимаю, что таким образом нет гарантии, что финальная точка будет наилучшей из всех тех, которые мы перебрали?

Ни один из стохастических алгоритмов такой гарантии не даёт. Это всё, что нужно о них знать.

И нет, на достаточно гладкой функции этот алгоритм скатится обратно в глобальный минимум даже если случайно из него выпрыгнул.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001336
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если форма функции сложна и неизвестна - то сложно определить область определения для поиска.
Не будем-же мы задавать от минус бесконечности до плюс. Нужен интервал. А с этим - проблема.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001445
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov
Ни один из стохастических алгоритмов такой гарантии не даёт. Это всё, что нужно о них знать.
-- обратите внимание на конструкцию "тех, которые мы перебрали" в моем вопросе.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001457
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Обязательно ли вычислять Распределение Гиббса?
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001471
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А я думаю, что
по 1) (нет, нет), нет - поскольку НЕ "систематически", а как повезёт, и нет - поскольку лично вас не обязывают забыть эту точку.
по 2) Да. А как ещё понимать, фразы вроде "принять x(k+1) с ненулевой вероятностью"?
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001489
mini.weblab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
Правильно ли я понял (*), что в алгоритме имитации отжига систематически производятся переходы в точку, худшую, чем предыдущая, и при этом предыдущая (лучшая) точка забывается?

Нет, неправильно понимаете. Алгоритм ищет экстремум функции F(X), для вектора X = (x1, x2, ...) при убывании температуры t.
В формулах из вики ищется минимум, и вот что там происходит:
а) если F(X_new) < F(X_previous), то переход в новую точку происходит с вероятностью 1
б) если F(X_new) >= F(X_previous), то переход в новую точку либо произойдет, либо нет (нужно рассчитать вероятность перехода)


Правильно ли я понимаю, что таким образом нет гарантии, что финальная точка будет наилучшей из всех тех, которые мы перебрали?

да, верно, нет гарантии, что найденная по алгоритму точка будет глобальным экстремумом, есть ненулевая вероятность попадания в точку локального экстремума, и также есть ненулевая вероятность перейти в точку "худшую", чем начальная. :-)
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001493
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98
поскольку лично вас не обязывают забыть эту точку.
-- лично меня ничто не обязывает, но конкретно в описании алгоритма (представленном в википедии) никакого "не забыВАть эту точку" не указано.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001518
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
в описании алгоритма (представленном в википедии) никакого "не забыВАть эту точку" не указано
-- а стоило бы указать, и описать, как следует работать алгоритму, если он начинаем "вымерзать" в локальном оптимуме, который хуже одной из точек, пройденных в течении работы алгоритма.

Потому что, вообще говоря, так будет всегда .
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001604
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хочу дополнить своими сомнениями.
Вопрос к знатокам ГП-СЧ в виндах. Я тут подразумеваю, что, ЕСЛИ случай локальной ямки, AND затем при разыгрываниии вероятности каждый раз выпадает выбор след. итерации, например x(k+1):= x(k). То есть не значение новое "равно", а по ветви алгоритма происходит присвоение. И тут вопрос, насколько реально, что всегда будет выпадать этот выриант выбора? Не в теории, а на практике ГП-СЧ? и учитывая, что температурка достигнет нижнего порога за конечное число шагов.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001614
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
...а стоило бы указать, и описать, как следует ...
Много хотите от свистипедии ... И потом,обычно такое указывают не в описании сферического алгоритма, а в рекомендациях по практическому применению. Возможно ещё, что в описании сохранено исходно авторское представление, какое-нибудь запатентованное, а он тогда мог и не знать о побочных эффектах.
А второе -- алгоритм не знает, является ли забытая минимальная точка правильной дорогой к хорошему локальному минимуму. И вдруг потом в другой яме нашли ещё лучший минимум.
И третье -- может диктоваться предметной областью, какие ямки хорошие, а какие плохие. Не писать же всё это в общем определении.

авторПотому что, вообще говоря, так будет всегда . Почему так часто? речь о такой плохой функции?
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001631
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98
является ли забытая минимальная точка правильной дорогой к хорошему локальному минимуму
-- мы забыли лучшую из найденных нами точек. Точка.

exp98
речь о такой плохой функции?
-- речь только о том, что алгоритм предполагает систематические переходы от некоторых ("хороших") точек к худшим (чем они). И не содержит описания, как компенсировать этот свой дефект.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001650
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тема топика звучит так.

Идеален отжиг или нет?

И давайте разберем те случаи когда отжиг не идеален.

Условия.
- функция одного аргумента y=f(x) так удобнее нам для визуализации
- область определения мы задаем (знаем)
- функции типа Дирихле мы не будем рассматривать. Предполагаем
что она если и не совсем гладкая то хотя-бы не имеет какой-то вид
функции.

Реализация
- на любом языке
- каждый шаг приближения должен логгироваться на экране
чтоб читатель мог понять куда мы пошли и по какому условию.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001655
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

почему бы вам не добавить: "исследуемая функция может быть любой, при условии, что она чёрного цвета парабола" ?

А бигдату из триллиона сэмплов в 100-мерном пространстве параметров поотжигать не хотите?
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001658
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
mayton,

почему бы вам не добавить: "исследуемая функция может быть любой, при условии, что она чёрного цвета парабола" ?

А бигдату из триллиона сэмплов в 100-мерном пространстве параметров поотжигать не хотите?

Объясню. В приводимом образце (в википедии несмотря на шум и случайные пики) в функции
присутствует низкочастотная составляющая. И отжиг (насколько) я понимаю путешествует по этой
составляющей используя распределение господина Гиббса случайно вправо или влево и это
позволяет при остывании сохранять локальность проб в области ямки.

Я не имею ничего против бигдаты и триллиона. Только расскажите мне обладает ли ваш триллион
вышеуказанной низкочастотной составляющей вдоль каждого из 100 измерений.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001670
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
обладает ли ваш триллион
вышеуказанной низкочастотной составляющей вдоль каждого из 100 измерений
-- я не знаю.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001674
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
mayton
обладает ли ваш триллион
вышеуказанной низкочастотной составляющей вдоль каждого из 100 измерений
-- я не знаю.

Тогда не нужен тебе отжиг. Бери map-reduce и ищи просто max по твоей функции.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001690
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
обратите внимание на конструкцию "тех, которые мы перебрали" в моем вопросе.

Без разницы. Визуализируйте этот алгоритм как шарик, катящийся по поверхности. Он может прокатиться рядом с минимумом, может сквозь него, но по мере замедления он начнёт кататься всё ближе и ближе к искомой точке экстремума и в конечном итоге упокоится где-нибудь в её окрестностях.

А для нетривиальных функций просто кидают несколько шариков и смотрят, какой из них скатится лучше.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001692
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
О качении мы можем говорить только при наличии производной. Если функция шумит или изломана
мелкими изломами то наш математический шарик мгновенно застрянет. И будет в состоянии покоя.

Градиент метод явно слабее чем отжиг.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001704
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov
может прокатиться ... сквозь него
-- условие, сформулированное в Википедии, ничем не ограничивает то, как далеко -- в пространстве параметров -- от минимума окажется шарик, выскочив из этого минимума.

То есть вообще никаких ограничений на соотношение Хi и X* не накладывается.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001708
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я уже писал про Дирихле.

Давайте функию вида

Код: sql
1.
y = 1.0 * Random() 



прогоним через отжиг. А потом суперпозицию случайного шума и колебательного процесса

Код: sql
1.
y = 1.0 * Random() + 3.0 * sin(Kx) 



и сравним результаты.

Я не утверждаю что я 100% прав. Я просто ищу тот самый количественно-качественный переход
где хорош градиент и где хорош отжиг и где генетический алгоритм.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001751
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS,
поддерживаю мэйтона и "низкую частоту" из примера в том, что каждый метод имеет ограничения применимости. Если вам нужен именно этот метод, мне добавить больше нечего. Задача ваша и только вам знать, выполняются ли условия применимости и всё прочее.

Я устаю повторять про свистипедию. У вас есть якобы возможность статью улучшить, вместо того чтобы тут жаловаться.

Сейчас я не могу привести реальный пример, но существуют задачи, когда и не самый минимум годится. И могут ещё иметься дополнительные ограничения для функционала. Поэтому желание "мы забыли лучшую из найденных нами точек. Точка" слишком категорично. Большинство проблем "локальных минимумов" описано было давно и отдельно как класс. Рассказывалось, как каждый новый метод решает ту или иную проблему и т.д. Были такие времена. К несчастью гугел всё это скорее всего знает однобоко.

Дитрий предлагает скрестить с "роевым" методом. Правда есть и в чистом виде роевой метод и лично мне он ближе по духу. Однако в чистом виде он тоже ищет локальный минимум. И вопросы будут похожими. А ответ-то один: не нравится - улучшай.
Сэ ля ви.
...
Рейтинг: 0 / 0
25 сообщений из 49, страница 1 из 2
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Про алгоритм имитации отжига
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]