WikiSort.ru - Программирование

Марковский процесс принятия решений (англ. Markov decision process (MDP)) — спецификация задачи последовательного принятия решений для полностью наблюдаемой среды с марковской моделью перехода и дополнительными вознаграждениями. Назван в честь Андрея Маркова, служит математической основой для того, чтобы смоделировать принятие решения в ситуациях, где результаты частично случайны и частично под контролем лица, принимающего решения. Сегодня эта спецификация используются во множестве областей, включая робототехнику, автоматизированное управление, экономику и производство.

Определение

Чтобы определить марковский процесс принятия решений, нужно задать 4-кортеж ${\displaystyle (S,A,P_{\cdot }(\cdot ,\cdot ),R_{\cdot }(\cdot ,\cdot ))}$ , где

• ${\displaystyle S}$ конечное число состояний,
• ${\displaystyle A}$ конечное число действий (часто представляется в виде, ${\displaystyle A_{s}}$ конечное число действий, доступных из состояния ${\displaystyle s}$ ),
• ${\displaystyle P_{a}(s,s')=\Pr(s_{t+1}=s'\mid s_{t}=s,a_{t}=a)}$ вероятность, что действие ${\displaystyle a}$ в состоянии ${\displaystyle s}$ во время ${\displaystyle t}$ перейдёт в состояние ${\displaystyle s'}$ ко времени ${\displaystyle t+1}$ ,
• ${\displaystyle R_{a}(s,s')}$ вознаграждение, получаемое после перехода в состояние ${\displaystyle s'}$ из состояния ${\displaystyle s}$ с вероятностью перехода ${\displaystyle P_{a}(s,s')}$ .

См. также

• Теория игр
• Q-обучение

Это заготовка статьи по математике. Вы можете помочь проекту, дополнив её.