|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Правильно ли я понял (*), что в алгоритме имитации отжига систематически производятся переходы в точку, худшую, чем предыдущая, и при этом предыдущая (лучшая) точка забывается? Правильно ли я понимаю, что таким образом нет гарантии, что финальная точка будет наилучшей из всех тех, которые мы перебрали? _______________________ * https://ru.wikipedia.org/wiki/Алгоритм_имитации_отжига ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2020, 00:15 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Я думаю что если будет 2 глубоких оврага примерно равных по глубине то есть риск что точка скатится в тот овраг который будет не самый глубокий но выкатится из него назад уже не сможет т.к. температура атомов уже понизилась настолько что сил хватает "вибрировать" но выпрыгнуть наверх уже нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2020, 00:43 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
mayton, на вашем примере, вопрос состоит в том, что алгоритм имитации отжига может на начальной стадии работы побывать в "самом глубоком овраге", потом из него выпрыгнуть и больше так в него и не вернуться. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2020, 12:03 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Хотя нет. Пока беру свои слова назад. Может и не так. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2020, 13:29 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Иван FXS Правильно ли я понимаю, что таким образом нет гарантии, что финальная точка будет наилучшей из всех тех, которые мы перебрали? Ни один из стохастических алгоритмов такой гарантии не даёт. Это всё, что нужно о них знать. И нет, на достаточно гладкой функции этот алгоритм скатится обратно в глобальный минимум даже если случайно из него выпрыгнул. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2020, 14:40 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Если форма функции сложна и неизвестна - то сложно определить область определения для поиска. Не будем-же мы задавать от минус бесконечности до плюс. Нужен интервал. А с этим - проблема. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2020, 15:12 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov Ни один из стохастических алгоритмов такой гарантии не даёт. Это всё, что нужно о них знать. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2020, 18:45 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Обязательно ли вычислять Распределение Гиббса? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2020, 19:34 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
А я думаю, что по 1) (нет, нет), нет - поскольку НЕ "систематически", а как повезёт, и нет - поскольку лично вас не обязывают забыть эту точку. по 2) Да. А как ещё понимать, фразы вроде "принять x(k+1) с ненулевой вероятностью"? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2020, 21:34 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Иван FXS Правильно ли я понял (*), что в алгоритме имитации отжига систематически производятся переходы в точку, худшую, чем предыдущая, и при этом предыдущая (лучшая) точка забывается? Нет, неправильно понимаете. Алгоритм ищет экстремум функции F(X), для вектора X = (x1, x2, ...) при убывании температуры t. В формулах из вики ищется минимум, и вот что там происходит: а) если F(X_new) < F(X_previous), то переход в новую точку происходит с вероятностью 1 б) если F(X_new) >= F(X_previous), то переход в новую точку либо произойдет, либо нет (нужно рассчитать вероятность перехода) Правильно ли я понимаю, что таким образом нет гарантии, что финальная точка будет наилучшей из всех тех, которые мы перебрали? да, верно, нет гарантии, что найденная по алгоритму точка будет глобальным экстремумом, есть ненулевая вероятность попадания в точку локального экстремума, и также есть ненулевая вероятность перейти в точку "худшую", чем начальная. :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2020, 23:29 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
exp98 поскольку лично вас не обязывают забыть эту точку. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 01:52 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Иван FXS в описании алгоритма (представленном в википедии) никакого "не забыВАть эту точку" не указано Потому что, вообще говоря, так будет всегда . ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 08:00 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Хочу дополнить своими сомнениями. Вопрос к знатокам ГП-СЧ в виндах. Я тут подразумеваю, что, ЕСЛИ случай локальной ямки, AND затем при разыгрываниии вероятности каждый раз выпадает выбор след. итерации, например x(k+1):= x(k). То есть не значение новое "равно", а по ветви алгоритма происходит присвоение. И тут вопрос, насколько реально, что всегда будет выпадать этот выриант выбора? Не в теории, а на практике ГП-СЧ? и учитывая, что температурка достигнет нижнего порога за конечное число шагов. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 12:13 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Иван FXS ...а стоило бы указать, и описать, как следует ... А второе -- алгоритм не знает, является ли забытая минимальная точка правильной дорогой к хорошему локальному минимуму. И вдруг потом в другой яме нашли ещё лучший минимум. И третье -- может диктоваться предметной областью, какие ямки хорошие, а какие плохие. Не писать же всё это в общем определении. авторПотому что, вообще говоря, так будет всегда . Почему так часто? речь о такой плохой функции? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 12:29 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
exp98 является ли забытая минимальная точка правильной дорогой к хорошему локальному минимуму exp98 речь о такой плохой функции? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 13:03 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Тема топика звучит так. Идеален отжиг или нет? И давайте разберем те случаи когда отжиг не идеален. Условия. - функция одного аргумента y=f(x) так удобнее нам для визуализации - область определения мы задаем (знаем) - функции типа Дирихле мы не будем рассматривать. Предполагаем что она если и не совсем гладкая то хотя-бы не имеет какой-то вид функции. Реализация - на любом языке - каждый шаг приближения должен логгироваться на экране чтоб читатель мог понять куда мы пошли и по какому условию. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 13:22 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
mayton, почему бы вам не добавить: "исследуемая функция может быть любой, при условии, что она чёрного цвета парабола" ? А бигдату из триллиона сэмплов в 100-мерном пространстве параметров поотжигать не хотите? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 13:34 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Иван FXS mayton, почему бы вам не добавить: "исследуемая функция может быть любой, при условии, что она чёрного цвета парабола" ? А бигдату из триллиона сэмплов в 100-мерном пространстве параметров поотжигать не хотите? Объясню. В приводимом образце (в википедии несмотря на шум и случайные пики) в функции присутствует низкочастотная составляющая. И отжиг (насколько) я понимаю путешествует по этой составляющей используя распределение господина Гиббса случайно вправо или влево и это позволяет при остывании сохранять локальность проб в области ямки. Я не имею ничего против бигдаты и триллиона. Только расскажите мне обладает ли ваш триллион вышеуказанной низкочастотной составляющей вдоль каждого из 100 измерений. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 13:40 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
mayton обладает ли ваш триллион вышеуказанной низкочастотной составляющей вдоль каждого из 100 измерений ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 14:03 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Иван FXS mayton обладает ли ваш триллион вышеуказанной низкочастотной составляющей вдоль каждого из 100 измерений Тогда не нужен тебе отжиг. Бери map-reduce и ищи просто max по твоей функции. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 14:04 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Иван FXS обратите внимание на конструкцию "тех, которые мы перебрали" в моем вопросе. Без разницы. Визуализируйте этот алгоритм как шарик, катящийся по поверхности. Он может прокатиться рядом с минимумом, может сквозь него, но по мере замедления он начнёт кататься всё ближе и ближе к искомой точке экстремума и в конечном итоге упокоится где-нибудь в её окрестностях. А для нетривиальных функций просто кидают несколько шариков и смотрят, какой из них скатится лучше. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 14:20 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
О качении мы можем говорить только при наличии производной. Если функция шумит или изломана мелкими изломами то наш математический шарик мгновенно застрянет. И будет в состоянии покоя. Градиент метод явно слабее чем отжиг. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 14:23 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov может прокатиться ... сквозь него То есть вообще никаких ограничений на соотношение Хi и X* не накладывается. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 14:55 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Я уже писал про Дирихле. Давайте функию вида Код: sql 1.
прогоним через отжиг. А потом суперпозицию случайного шума и колебательного процесса Код: sql 1.
и сравним результаты. Я не утверждаю что я 100% прав. Я просто ищу тот самый количественно-качественный переход где хорош градиент и где хорош отжиг и где генетический алгоритм. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 15:02 |
|
Про алгоритм имитации отжига
|
|||
---|---|---|---|
#18+
Иван FXS, поддерживаю мэйтона и "низкую частоту" из примера в том, что каждый метод имеет ограничения применимости. Если вам нужен именно этот метод, мне добавить больше нечего. Задача ваша и только вам знать, выполняются ли условия применимости и всё прочее. Я устаю повторять про свистипедию. У вас есть якобы возможность статью улучшить, вместо того чтобы тут жаловаться. Сейчас я не могу привести реальный пример, но существуют задачи, когда и не самый минимум годится. И могут ещё иметься дополнительные ограничения для функционала. Поэтому желание "мы забыли лучшую из найденных нами точек. Точка" слишком категорично. Большинство проблем "локальных минимумов" описано было давно и отдельно как класс. Рассказывалось, как каждый новый метод решает ту или иную проблему и т.д. Были такие времена. К несчастью гугел всё это скорее всего знает однобоко. Дитрий предлагает скрестить с "роевым" методом. Правда есть и в чистом виде роевой метод и лично мне он ближе по духу. Однако в чистом виде он тоже ищет локальный минимум. И вопросы будут похожими. А ответ-то один: не нравится - улучшай. Сэ ля ви. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2020, 16:40 |
|
|
start [/forum/topic.php?fid=16&fpage=4&tid=1339736]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
28ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
67ms |
get tp. blocked users: |
2ms |
others: | 35ms |
total: | 175ms |
0 / 0 |