人工智能之强化学习(RL)

当前人工智能之机器学习算法主要有7大类：1）监督自学（SupervisedLearning），2）无监督自学（UnsupervisedLearning），3）半监督自学（Semi－supervisedLearning），4）深度自学（DeepLearning），5）增强自学（ReinforcementLearning），6）迁入自学（TransferLearning），7）其他（Others）。今天我们重点探究一下增强自学（RL）。增强自学（RL），又称再励自学、评价自学，是一种最重要的机器学习方法，在智能控制机器人及分析预测等领域有许多应用于。

那么什么是增强自学？增强自学是智能系统从环境到不道德同构的自学，以使奖励信号（增强信号）函数值仅次于，增强自学不同于相连主义自学中的监督自学，主要展现出在教师信号上，增强自学中由环境获取的增强信号是对产生动作的优劣不作一种评价（一般来说为标量信号），而不是告诉他增强自学系统RLS（reinforcementlearningsystem）如何去产生准确的动作。由于外部环境获取的信息很少，RLS必需靠自身的经历或能力展开自学。通过这种方式，RLS在行动－评价的环境中取得科学知识，改动方案以适应环境。

通俗的讲，就是当一个小孩自学有迷茫或疑惑时，如果老师找到小孩方法或思路准确，就给他（她）正反馈（奖励或希望）；否则就给他（她）负反馈（教训或惩罚），鼓舞小孩的创造力，增强他（她）自我自学能力，依赖自身的力量来主动自学和大大探寻，最后让他（她）寻找准确的方法或思路，以适应环境外部多变的环境。增强自学大同小异传统的机器学习，无法立刻获得标记，而不能获得一个对系统（奖或处罚），可以说道增强自学是一种标记延后的监督自学。增强自学就是指动物自学、参数扰动自适应控制等理论发展而来的。增强自学原理：如果Agent的某个不道德策略造成环境正的奖励（增强信号），那么Agent以后产生这个不道德策略的趋势强化。

Agent的目标是在每个线性状态找到拟合策略以使希望的优惠奖励和仅次于。增强自学把自学看做试探评价过程，Agent自由选择一个动作用作环境，环境拒绝接受该动作后状态发生变化，同时产生一个增强信号（奖或责）对系统给Agent，Agent根据增强信号和环境当前状态再行自由选择下一个动作，自由选择的原则是使受到于是以增强（奖）的概率减小。

自由选择的动作不仅影响立刻增强值，而且影响环境下一时刻的状态及最后的增强值。若未知R／A梯度信息，则可必要可以用于监督自学算法。因为增强信号R与Agent产生的动作A没具体的函数形式叙述，所以梯度信息R／A无法获得。

因此，在增强自学系统中，必须某种随机单元，用于这种随机单元，Agent在有可能动作空间中展开搜寻并找到准确的动作。增强自学模型增强自学模型还包括下面几个要素：1）规则（policy）：规则定义了Agent在特定的时间特定的环境下的不道德方式，可以视作就是指环境状态到不道德的同构，常用π来回应。可以分成两类：确定性的policy（Deterministicpolicy）：a＝π（s）随机性的policy（Stochasticpolicy）：π（a｜s）＝P［At＝a｜St＝t］其中，t是时间点，t＝0，1，2，3，……St∈S，S是环境状态的子集，St代表时刻t的状态，s代表其中某个特定的状态；At∈A（St），A（St）是在状态St下的actions的子集，At代表时刻t的不道德，a代表其中某个特定的不道德。

2）奖励信号（arewardsignal）：Reward是一个标量值，是每个timestep中环境根据agent的不道德回到给agent的信号，reward定义了在该情景下继续执行该不道德的优劣，agent可以根据reward来调整自己的policy。常用R来回应。

3）值函数（valuefunction）：Reward定义的是立刻的收益，而valuefunction定义的是长年的收益，它可以看做是总计的reward，常用v来回应。4）环境模型（amodeloftheenvironment）：整个Agent和Environment交互的过程可以用右图来回应：Agent作为自学系统，提供外部环境Environment的当前状态信息St，对环境采行试探不道德At，并提供环境对系统的回应动作的评价Rt＋1和新的环境状态St＋1。

如果Agent的某动作At造成环境Environment的于是以奖励（立刻报酬），那么Agent以后产生这个动作的趋势之后不会强化；反之，Agent产生这个动作的趋势将弱化。在增强自学系统的掌控不道德与环境对系统的状态及评价的重复交互作用中，以自学的方式大大改动从状态到动作的同构策略，超过优化系统性能目的。

本文来源：yabo888亚博网站-www.dqhryoga.com