WikiSort.ru - Программирование

Алгори́тм имита́ции о́тжига (англ. Simulated annealing) — общий алгоритмический метод решения задачи глобальной оптимизации, особенно дискретной и комбинаторной оптимизации. Один из примеров методов Монте-Карло.

Общее описание

Алгоритм основывается на имитации физического процесса, который происходит при кристаллизации вещества, в том числе при отжиге металлов. Предполагается, что атомы уже выстроились в кристаллическую решётку, но ещё допустимы переходы отдельных атомов из одной ячейки в другую. Предполагается, что процесс протекает при постепенно понижающейся температуре. Переход атома из одной ячейки в другую происходит с некоторой вероятностью, причём вероятность уменьшается с понижением температуры. Устойчивая кристаллическая решётка соответствует минимуму энергии атомов, поэтому атом либо переходит в состояние с меньшим уровнем энергии, либо остаётся на месте. (Этот алгоритм также называется алгоритмом Н. Метрополиса, по имени его автора).

При помощи моделирования такого процесса ищется такая точка или множество точек, на котором достигается минимум некоторой числовой функции ${\displaystyle F({\overline {x}})}$ , где ${\displaystyle {\overline {x}}=(x_{1},\;\ldots ,\;x_{m})\in X}$ . Решение ищется последовательным вычислением точек ${\displaystyle {\overline {x_{0}}},\;{\overline {x_{1}}},\;\ldots ,\;}$ пространства ${\displaystyle X}$ ; каждая точка, начиная с ${\displaystyle {\overline {x_{1}}}}$ , «претендует» на то, чтобы лучше предыдущих приближать решение. Алгоритм принимает точку ${\displaystyle {\overline {x_{0}}}}$ как исходные данные. На каждом шаге алгоритм (который описан ниже) вычисляет новую точку и понижает значение величины (изначально положительной), понимаемой как «температура». Алгоритм останавливается по достижении точки, которая оказывается при температуре ноль.

Точка ${\displaystyle {\overline {x_{i+1}}}}$ по алгоритму получается на основе текущей точки ${\displaystyle {\overline {x_{i}}}}$ следующим образом. К точке ${\displaystyle {\overline {x_{i}}}}$ применяется оператор ${\displaystyle \mathrm {A} }$ , который случайным образом модифицирует соответствующую точку, в результате чего получается новая точка ${\displaystyle {\overline {x^{*}}}}$ . Точка ${\displaystyle {\overline {x^{*}}}}$ становится точкой ${\displaystyle {\overline {x_{i+1}}}}$ с вероятностью ${\displaystyle P({\overline {x^{*}}},\;{\overline {x_{i+1}}})}$ , которая вычисляется в соответствии с распределением Гиббса:

${\displaystyle P({\overline {x^{*}}}\to {\overline {x_{i+1}}}\mid {\overline {x_{i}}})={\begin{cases}1,&F({\overline {x^{*}}})-F({\overline {x_{i}}})<0\\\exp \left(-{\dfrac {F({\overline {x^{*}}})-F({\overline {x_{i}}})}{Q_{i}}}\right),&{F({\overline {x^{*}}})-F({\overline {x_{i}}})\geqslant 0}\end{cases}}}$

Здесь ${\displaystyle Q_{i}>0}$  — элементы произвольной убывающей, сходящейся к нулю положительной последовательности, которая задаёт аналог падающей температуры в кристалле. Скорость убывания и закон убывания могут быть заданы по желанию создателя алгоритма.

Алгоритм имитации отжига похож на градиентный спуск, но за счёт случайности выбора промежуточной точки должен попадать в локальные минимумы реже, чем градиентный спуск. Алгоритм имитации отжига не гарантирует нахождения минимума функции, однако при правильной политике генерации случайной точки в пространстве ${\displaystyle X}$ , как правило, происходит улучшение начального приближения.

Применение

• Обучение нейронных сетей
• Решение комбинаторных задач, например, задачи о расстановке ферзей
• Решение задачи коммивояжера^[1]

См. также

• Метод квантового отжига

Примечания

Литература

• Каллан Роберт.  Основные концепции нейронных сетей. — М.: Издательский дом Вильямс, 2003. — 288 с. — ISBN 5-8459-0219-X. — С. 146—148.
• Кирсанов М. Н.  Графы в Maple. — М.: Физматлит, 2007. — 168 с. — ISBN 978-5-9221-0745-7. — С. 151—154.
• Джонс М. Т.  Программирование искусственного интеллекта в приложениях. — М.: ДМК Пресс, 2004. — 312 с. — ISBN 5-94074-275-0. — С. 25—42.

Ссылки

• Визуализатор применения метода отжига в задаче о расстановке ферзей.
• Метод глобальной минимизации (последовательный спуск по точкам локальных минимумов).
• Лекция по методу отжига

Для улучшения этой статьи желательно: Проставив сноски, внести более точные указания на источники.