powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Про алгоритм имитации отжига
49 сообщений из 49, показаны все 2 страниц
Про алгоритм имитации отжига
    #40001136
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Правильно ли я понял (*), что в алгоритме имитации отжига систематически производятся переходы в точку, худшую, чем предыдущая, и при этом предыдущая (лучшая) точка забывается?

Правильно ли я понимаю, что таким образом нет гарантии, что финальная точка будет наилучшей из всех тех, которые мы перебрали?
_______________________
* https://ru.wikipedia.org/wiki/Алгоритм_имитации_отжига
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001138
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я думаю что если будет 2 глубоких оврага примерно равных по глубине то есть риск что точка скатится
в тот овраг который будет не самый глубокий но выкатится из него назад уже не сможет т.к. температура
атомов уже понизилась настолько что сил хватает "вибрировать" но выпрыгнуть наверх уже нет.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001236
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton, на вашем примере, вопрос состоит в том, что алгоритм имитации отжига может на начальной стадии работы побывать в "самом глубоком овраге", потом из него выпрыгнуть и больше так в него и не вернуться.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001275
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хотя нет. Пока беру свои слова назад.

Может и не так.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001322
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
Правильно ли я понимаю, что таким образом нет гарантии, что финальная точка будет наилучшей из всех тех, которые мы перебрали?

Ни один из стохастических алгоритмов такой гарантии не даёт. Это всё, что нужно о них знать.

И нет, на достаточно гладкой функции этот алгоритм скатится обратно в глобальный минимум даже если случайно из него выпрыгнул.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001336
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если форма функции сложна и неизвестна - то сложно определить область определения для поиска.
Не будем-же мы задавать от минус бесконечности до плюс. Нужен интервал. А с этим - проблема.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001445
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov
Ни один из стохастических алгоритмов такой гарантии не даёт. Это всё, что нужно о них знать.
-- обратите внимание на конструкцию "тех, которые мы перебрали" в моем вопросе.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001457
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Обязательно ли вычислять Распределение Гиббса?
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001471
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А я думаю, что
по 1) (нет, нет), нет - поскольку НЕ "систематически", а как повезёт, и нет - поскольку лично вас не обязывают забыть эту точку.
по 2) Да. А как ещё понимать, фразы вроде "принять x(k+1) с ненулевой вероятностью"?
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001489
mini.weblab
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
Правильно ли я понял (*), что в алгоритме имитации отжига систематически производятся переходы в точку, худшую, чем предыдущая, и при этом предыдущая (лучшая) точка забывается?

Нет, неправильно понимаете. Алгоритм ищет экстремум функции F(X), для вектора X = (x1, x2, ...) при убывании температуры t.
В формулах из вики ищется минимум, и вот что там происходит:
а) если F(X_new) < F(X_previous), то переход в новую точку происходит с вероятностью 1
б) если F(X_new) >= F(X_previous), то переход в новую точку либо произойдет, либо нет (нужно рассчитать вероятность перехода)


Правильно ли я понимаю, что таким образом нет гарантии, что финальная точка будет наилучшей из всех тех, которые мы перебрали?

да, верно, нет гарантии, что найденная по алгоритму точка будет глобальным экстремумом, есть ненулевая вероятность попадания в точку локального экстремума, и также есть ненулевая вероятность перейти в точку "худшую", чем начальная. :-)
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001493
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98
поскольку лично вас не обязывают забыть эту точку.
-- лично меня ничто не обязывает, но конкретно в описании алгоритма (представленном в википедии) никакого "не забыВАть эту точку" не указано.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001518
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
в описании алгоритма (представленном в википедии) никакого "не забыВАть эту точку" не указано
-- а стоило бы указать, и описать, как следует работать алгоритму, если он начинаем "вымерзать" в локальном оптимуме, который хуже одной из точек, пройденных в течении работы алгоритма.

Потому что, вообще говоря, так будет всегда .
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001604
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хочу дополнить своими сомнениями.
Вопрос к знатокам ГП-СЧ в виндах. Я тут подразумеваю, что, ЕСЛИ случай локальной ямки, AND затем при разыгрываниии вероятности каждый раз выпадает выбор след. итерации, например x(k+1):= x(k). То есть не значение новое "равно", а по ветви алгоритма происходит присвоение. И тут вопрос, насколько реально, что всегда будет выпадать этот выриант выбора? Не в теории, а на практике ГП-СЧ? и учитывая, что температурка достигнет нижнего порога за конечное число шагов.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001614
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
...а стоило бы указать, и описать, как следует ...
Много хотите от свистипедии ... И потом,обычно такое указывают не в описании сферического алгоритма, а в рекомендациях по практическому применению. Возможно ещё, что в описании сохранено исходно авторское представление, какое-нибудь запатентованное, а он тогда мог и не знать о побочных эффектах.
А второе -- алгоритм не знает, является ли забытая минимальная точка правильной дорогой к хорошему локальному минимуму. И вдруг потом в другой яме нашли ещё лучший минимум.
И третье -- может диктоваться предметной областью, какие ямки хорошие, а какие плохие. Не писать же всё это в общем определении.

авторПотому что, вообще говоря, так будет всегда . Почему так часто? речь о такой плохой функции?
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001631
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98
является ли забытая минимальная точка правильной дорогой к хорошему локальному минимуму
-- мы забыли лучшую из найденных нами точек. Точка.

exp98
речь о такой плохой функции?
-- речь только о том, что алгоритм предполагает систематические переходы от некоторых ("хороших") точек к худшим (чем они). И не содержит описания, как компенсировать этот свой дефект.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001650
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тема топика звучит так.

Идеален отжиг или нет?

И давайте разберем те случаи когда отжиг не идеален.

Условия.
- функция одного аргумента y=f(x) так удобнее нам для визуализации
- область определения мы задаем (знаем)
- функции типа Дирихле мы не будем рассматривать. Предполагаем
что она если и не совсем гладкая то хотя-бы не имеет какой-то вид
функции.

Реализация
- на любом языке
- каждый шаг приближения должен логгироваться на экране
чтоб читатель мог понять куда мы пошли и по какому условию.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001655
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

почему бы вам не добавить: "исследуемая функция может быть любой, при условии, что она чёрного цвета парабола" ?

А бигдату из триллиона сэмплов в 100-мерном пространстве параметров поотжигать не хотите?
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001658
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
mayton,

почему бы вам не добавить: "исследуемая функция может быть любой, при условии, что она чёрного цвета парабола" ?

А бигдату из триллиона сэмплов в 100-мерном пространстве параметров поотжигать не хотите?

Объясню. В приводимом образце (в википедии несмотря на шум и случайные пики) в функции
присутствует низкочастотная составляющая. И отжиг (насколько) я понимаю путешествует по этой
составляющей используя распределение господина Гиббса случайно вправо или влево и это
позволяет при остывании сохранять локальность проб в области ямки.

Я не имею ничего против бигдаты и триллиона. Только расскажите мне обладает ли ваш триллион
вышеуказанной низкочастотной составляющей вдоль каждого из 100 измерений.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001670
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
обладает ли ваш триллион
вышеуказанной низкочастотной составляющей вдоль каждого из 100 измерений
-- я не знаю.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001674
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
mayton
обладает ли ваш триллион
вышеуказанной низкочастотной составляющей вдоль каждого из 100 измерений
-- я не знаю.

Тогда не нужен тебе отжиг. Бери map-reduce и ищи просто max по твоей функции.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001690
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
обратите внимание на конструкцию "тех, которые мы перебрали" в моем вопросе.

Без разницы. Визуализируйте этот алгоритм как шарик, катящийся по поверхности. Он может прокатиться рядом с минимумом, может сквозь него, но по мере замедления он начнёт кататься всё ближе и ближе к искомой точке экстремума и в конечном итоге упокоится где-нибудь в её окрестностях.

А для нетривиальных функций просто кидают несколько шариков и смотрят, какой из них скатится лучше.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001692
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
О качении мы можем говорить только при наличии производной. Если функция шумит или изломана
мелкими изломами то наш математический шарик мгновенно застрянет. И будет в состоянии покоя.

Градиент метод явно слабее чем отжиг.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001704
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov
может прокатиться ... сквозь него
-- условие, сформулированное в Википедии, ничем не ограничивает то, как далеко -- в пространстве параметров -- от минимума окажется шарик, выскочив из этого минимума.

То есть вообще никаких ограничений на соотношение Хi и X* не накладывается.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001708
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я уже писал про Дирихле.

Давайте функию вида

Код: sql
1.
y = 1.0 * Random() 



прогоним через отжиг. А потом суперпозицию случайного шума и колебательного процесса

Код: sql
1.
y = 1.0 * Random() + 3.0 * sin(Kx) 



и сравним результаты.

Я не утверждаю что я 100% прав. Я просто ищу тот самый количественно-качественный переход
где хорош градиент и где хорош отжиг и где генетический алгоритм.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40001751
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS,
поддерживаю мэйтона и "низкую частоту" из примера в том, что каждый метод имеет ограничения применимости. Если вам нужен именно этот метод, мне добавить больше нечего. Задача ваша и только вам знать, выполняются ли условия применимости и всё прочее.

Я устаю повторять про свистипедию. У вас есть якобы возможность статью улучшить, вместо того чтобы тут жаловаться.

Сейчас я не могу привести реальный пример, но существуют задачи, когда и не самый минимум годится. И могут ещё иметься дополнительные ограничения для функционала. Поэтому желание "мы забыли лучшую из найденных нами точек. Точка" слишком категорично. Большинство проблем "локальных минимумов" описано было давно и отдельно как класс. Рассказывалось, как каждый новый метод решает ту или иную проблему и т.д. Были такие времена. К несчастью гугел всё это скорее всего знает однобоко.

Дитрий предлагает скрестить с "роевым" методом. Правда есть и в чистом виде роевой метод и лично мне он ближе по духу. Однако в чистом виде он тоже ищет локальный минимум. И вопросы будут похожими. А ответ-то один: не нравится - улучшай.
Сэ ля ви.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002137
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS
условие, сформулированное в Википедии, ничем не ограничивает то, как далеко -- в пространстве параметров -- от минимума окажется шарик, выскочив из этого минимума.

Да, прямых ограничений нет. Только вероятностные, которые при большом числе скачков действуют точно так же. Аналогия из той же физики: электрон из атома в твоём теле может оказаться на другом конце галактики, формулы квантовой механики это не ограничивают, но обычно он всё же пасётся где-то неподалёку.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002138
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov
Аналогия из той же физики: электрон из атома в твоём теле может оказаться на другом конце галактики, формулы квантовой механики это не ограничивают, но обычно он всё же пасётся где-то неподалёку.
Охохонюшки ...
Не "квантовой механики", а "закона сохранения заряда". Так то - да, но, как обычно, "есть ньюанс".
Принцип локальной инвариантности (следствие постулатов специальной теории относительности) запрещает "телепортацию" зарядов.
Следствием принципа локальной инвариантности является наличие токов, связанных с перемещением зарядов.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002189
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS, возможно эти цитаты с вашей же страницы сви-педии немного примирят с самой статьёй.
в начале статьи: авторПредполагается, что атомы уже выстроились в кристаллическую решётку, но ещё допустимы переходы отдельных атомов из одной ячейки в другую. Т.е. предполагается, что область поиска уже хорошо локализована. Да даже метод половинного деления требует предварительной локализации.

в конце статьи: автороднако при правильной политике генерации случайной точки в пространстве X, как правило, происходит улучшение начального приближения.
Из рекомендации в пдфе по ссылке с той же стр. сви-педии. авторДля реализации метод отжига нам необходимо иметь случайную функцию
G : S → S, которая будет по элементу s ∈ S давать элемент G(s) ∈ S,
который должен быть близким к элементу s .
Из рекомендаций в статье из недр инета:
авторКонкретная схема отжига задаётся следующими параметрами:
- выбором закона изменения температуры
- выбором порождающего семейства распределений
- выбором функции вероятности принятия нового значения
авторЧем выше температура, тем больше допустимы "ухудшающие" изменения (аналогичные случайным флуктуациям в нагретом веществе), и больше их вероятность. Можно также найти ещё кучку вариантов отжигов: с разной ф-цией температуры, быстрый или сверхбыстрый отжиг, или, наоборот, "тушения" ...

Видно же, что научный специалист излагает качественнее статьиписаки, в рецензируемых статьях изложение также качественнее.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002191
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov, я не знаю, в каком оптимизационном методе додумались использовать физаналогии на принципах ОТО/СТО )) , кв. алгоритмы сейчас не в счёт.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002244
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
выбором порождающего семейства распределений
Какая она должна быть? По форме. Есть ли рекомендации?
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002294
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Некий шаблончик. Как я его себе виду для целевой функции одного аргумента y=f(x)

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
  /**
   *
   * @param t - temperature function depends on time t(x)
   * @param d - distribution function d()
   * @param p - new value probability function p()
   * @param g - given function g(x)         
   * @return
   */
  def annealing(t: Double => Double, d: Void => Double, p: Void => Double, g: Double => Double) : Double = {
    // TODO: Implement
    0.0
  }
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002544
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98
Видно же, что научный специалист излагает качественнее статьиписаки

Да совершенно пофиг. За последние четверть века в случайном поиске просто нагородили большую кучу красивых аналоговых терминов, чтобы его продать, но сущность всё равно осталась прежней: хреновой.

Случайный поиск применялся в случаях, когда аналитического решения нет, а вычислительной мощности не хватало на детерминированные методы. Сейчас мощностей на них хватает с запасом и круг задач для случайного поиска сузился до окрестности нуля.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002646
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В топике 1000 ферзей я ошибочно классифицировал алгоритм ученых из Юта который
формально улучшал расстановку с NP до P как Генетический алгоритм.

Я ошибался. Это действительно иммитация отжига. Хотя с генетикой у него есть что-то общее.
Случайный фактор например. И способность обобщать.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002650
Aleksandr Sharahov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

и не то, и не другое:
он *всегда* шагает к экстремуму максимальными шагами
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002652
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Частный случай.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002658
Aleksandr Sharahov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Частный случай.


... градиентного спуска
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002660
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вряд-ли вы приложите производную к расстановке ферзей.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002662
Aleksandr Sharahov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Вряд-ли вы приложите производную к расстановке ферзей.


к счастью, в данном случае производная не требуется для определения наилучшего шага
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002731
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Даже в старый градиентный метод добавляют случайность и адаптивность.
Возможно кое-кто удивится, но методы перебора во всю используются в НСках. Это часть круга задач для случайного поиска. Ну а радиус круга для НСок знают сейчас все. Или я не прав? А что накрутили физику в отжиг - все подсматривают у природы: если у этой тупой дуры получается, давайте у себя пробовать.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002736
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
выбором порождающего семейства распределений
Какая она должна быть? По форме. Есть ли рекомендации?Наверное от задачи зависит. По крайней мере вариант есть: дисперсия пропорциональна температуре.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002739
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да у природы можно такого насмотреться... С температурой-то оно всё понятно.
И очень хорошо ложиться на такие "обжигания" горшков и функций.

А что делать скажите с резкой траекторией частиц в микро-мире? Почему частицы
теряют массу? Исчезают. Телепортируются. Или не дай бох начинают распадаться
с выделением тепла. Что здесь нам природа помогает? Да нунафик. Только запутывает
или заставляет поверить в Терри Пратчета и "черепаху на слонах".
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002838
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это троллигн такой? )) было же недавно совсем, 43млрд/14млрд и закончилось хвалой зелёным человечкам на почве зелёного змия и неустоявшейся психики.
Там же много умозрительного, а с другой стороны кв. кри--графия и т.п. -- я о другом не слышал. Вот если у нас биты и байты будут самопроизвольно меняться, как это называется - вирус? или косяк?))
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002855
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98
Даже в старый градиентный метод добавляют случайность и адаптивность.

Добавляли. Потому что просчитать целевую функцию в Х-1 случайных точках - быстрее, чем в Х неслучайных, а сделать У-1 шагов переменного размера быстрее, чем У постоянных. Но подобная оптимизация - весьма специализированный инструмент, который нынче напрочь нигде не нужен.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40002860
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Конечно я не знаю сегодняшней фактуры. Только думаю, что в НС по-прежнему используется. И не только потому, что есть уже готовое. А ещё и потому, что расширяется область применения НСок в направлении роста размерности задач. Т.о., сохраняется актуальным требование сокращения перебора. Вот так от умозрительно говоря. Не исключу, что в военных решениях для "поля боя" требование скорейшего ответа очень актуально.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40003052
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Немножко покопался. Я думаю, ТС и сам находил похожее.

Только из одной статьи:
Реализации и св-ва различных вариантов МО.
Метод отжига, Лопатин АС.,2005, С-ПбГУ
Для Больцмановской схемы доказано (см.[1]), что
при достаточно больших Т0 и общем кол-ве шагов К, выбор такого семейства распределений (изменение Т по Больцману)
гарантирует нахождение глобального минимума.
T(k) = T0 / ln(1 + k), где k > 0.

[1] Metropolis N., Rosenbluth A. W., Rosenbluth M. N., Teller A. H., and Teller E. Equation of State Calculations by Fast Computer achines // J. Chemical Physics. 21. 6. June. 1953. P. 10871092.

Недостаток схемы Больцмана в её медленной сходимости. Например, чтобы понизить Т в 40 раз, требуется много итераций:
e^40 ~ 2.35*10^17

Здесь ([14], быстрый отжиг, T(k) = T0 / k) предложена для T схема Коши без потери гарантии найти глобальный минимум. Но использовать удобно оказалось только в dim=1, а для бОльших размерностей глобальность гарантирована только при ещё более медленной сходимости.

[14] Szu H. H., Hartley R. L. Fast Simulated Annealing // Physical Letters A. 122. 1987. P. 157162.
Ну и т.д.

Что ж получается. Если по Б. с 40 до 1 Цельсия? (или Кельвинов?) итераций 10^17, это ж сколько времени считать? А в дискретном случае у нас наберётся столько разных значений Х?
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40003078
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98
это ж сколько времени считать?

Дохрена, всё правильно. Поэтому его и не надо применять в случаях, когда полный перебор быстрее.

Что-то меня на лекции пробило, так что многа букафф:

Все итерационные алгоритмы оптимизации характеризуются и могут быть классифицированы по следующим критериям:
1) Алгоритм генерации списка точек-кандидатов.
2) Выбор центра и размера гиперкуба (N-мерного куба) в пределах которого находятся точки п.1.
3) Алгоритм выбора кандидата.

Для базового покоординатного спуска это:
1) Точки в центрах граней.
2) Центр в текущей точке, размер фиксирован.
3) Берётся кандидат со значением целевой функции ближе остальных к оптимуму.

Для базового случайного поиска отличие только в п.1: точки выбираются случайным образом в пределах гиперкуба.
Для алгоритма отжига гиперкуб со временем сжимается и кандидат выбирается случайным образом используя ГСЧ с хитровывернутым распределением.

Трудоёмкость п.1 детерминированных методов зависит от числа измерений пространства целевой функции (количества её параметров) и может доходить до O(3 N ). Трудоёмкость случайного поиска выбирается произвольно и может быть в том числе O(1) (ценой сходимости). Число итераций зависит от пункта 2. Итоговое время работы алгоритма - их перемножение.

Отсюда следует, что стохастические алгоритмы начинают рулить на больших мерностях, в простых случаях лучше пользоваться детерминированными.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40003128
Иван FXS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov
Берётся кандидат со значением целевой функции ближе остальных к оптимуму
-- это вот вы вместо "берётся лучший кандидат" так написали? Вообще-то оптимум нам не известен...

Dimitry Sibiryakov
Для алгоритма отжига гиперкуб со временем сжимается
-- не вижу этого в описании алгоритма отжига.
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40003139
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Иван FXS, "не вижу" -- а следовало бы. Мож на странице свисти-странице этого и нет, а вообще есть указания на уменьшение Т и рекомендации ограничивать скачки по Х коррелированно Т.

Dimitry Sibiryakov, как обобщение в первом приближении годится. Только вот главные вопросы-то и не отвечены:
авторПоэтому его и не надо применять в случаях, когда полный перебор быстрее. ....
Отсюда следует, что стохастические алгоритмы начинают рулить на больших мерностях, в простых случаях лучше пользоваться детерминированными. а) А когда полный перебор быстрее? б) Как решить, что случай простой?
Я лишь однажды прогал и то вариант координатного спуска. Поэтму только гадаю. Например (а) и dim=1, Если точек всё же много, и ф-ция ожидается достаточно резко изгибистая. Я предположу отжиг. Вот так от, не считая. Пусть и без гарантии глобальности (если конечно это допустимо).

Или фезевая задача всех расстановок, напр. N=15. Какой метод выбрать? Практика говорит, что спуск (хотя и не отжиг).
...
Рейтинг: 0 / 0
Про алгоритм имитации отжига
    #40003152
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98
а) А когда полный перебор быстрее? б) Как решить, что случай простой?

Когда число циклов вычисления целевой функции (напоминаю: число шагов * число кандидатов на каждом шаге) итерацонного поиска имеет сравнимый порядок с диапазоном определения целевой функции.

А для этого надо составить целевую функцию в виде f(X), где X - N-мерный вектор.
...
Рейтинг: 0 / 0
49 сообщений из 49, показаны все 2 страниц
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Про алгоритм имитации отжига
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]