历史上的今天
今天是：2025年01月10日（星期五）
2020年01月10日 | 解决机器人控制问题 能很好的处理离散和连续动作空间
2020-01-10 来源：中国机器人网
机器人技术的基本问题既涉及离散变量（比如控制模式或齿轮切换的选择），又涉及连续变量（比如速度设定点和控制增益）。通常来说，由于算法或控制策略并不总是适合的，因此这些问题很难解决。这就是为什么谷歌母公司Alphabet的Deepnd的研究人员最近提出了一种技术：连续-离散混合学习，即可以同时优化离散和连续动作，以其本来的形式处理混合问题。
在预印本服务器Arxiv.org上发表的一篇论文详细介绍了他们的工作，这篇论文也在去年10月日本大阪的第三届机器人学习会议上被人接受。写道：“许多先进的方法都进行了优化，它们能很好处理离散的或是连续的动作空间，但是却很少有方法能同时处理。能够使用同一算法强大地处理离散和连续动作空间，使我们能够针对任何给定问题都能选择最自然的解决方案策略，而不是让算法上的便利性来决定做出哪种选择。”
团队研发的无模型算法，是指利用强化学习或者奖励实现目标的自主代理人的培训技术，通过连续和离散动作空间来解决控制问题，并通过受控和自主切换来解决混合最优控制问题。此外，这种算法通过使用“元动作”或其他类似方案来扩大动作空间（分别定义了代理人可能感知和采取的状态和动作的范围），从而为解决现有的机器人问题提供了新颖的解决方案，并使策略可以解决类似人工智能训练期间的机械磨损等挑战 。
研究人员在一系列模拟和现实基准中验证了他们的方法，包括Rethink Robocs公司的Sawyer机器人手臂。据称，基于给定的到达、抓取和拿起魔方的任务，其中奖励是三个子任务的总和，因此他们的算法要优于无法解决任务的现有方法。
那是因为到达魔方需要代理人打开手臂的抓具，而抓取方块需要关闭抓具。作者写道：“一开始，基线将大部分概率集中在较小的动作值上，因此很难移动抓具的手指来看到任何奖励，从而解释了学习曲线上的平稳期。另一方面，这个算法能始终以全速操作抓具，因此改进了探查性，使机器人可以完全完成任务。”
在一个单独的实验中，团队将其算法设置为参数化动作空间马尔可夫决策过程（PAMDP）或一个分层问题，其中，代理人首先选择离散动作，然后为该动作选择一组连续的参数集。在这种情况下，代理人的任务是操纵机器人手臂，以便将钉子插入孔中，然后根据孔的位置和运动学来计算奖励。
研究人员表示，他们的方法比精细方法和粗略方法获得了更大的回报，并且这种算法将来可以作为基础应用到更多的混合强化学习中。论文中写道：“对于专业设计师而言，事先选择合适的模式可能很困难。而我们的方法是很有用的，因为它只需要一个实验，而别的方法都需要通过消融来进行验证。”
史海拾趣
|
◎电磁干扰(EMI, Electromagnetic Interference)：任何可能会降低某个装置、设备或系统的性能，或可能对生物或物质产生不良影响之电磁现象。一般而言，电磁干扰又可以区分为辐射干扰与传导干扰二种。 ◎电磁耐受(EMS, Electromagn ...… 查看全部问答＞ |
|
自2008下半年以来,山寨手机已遭遇了一场全国性“围剿”.随着监管部门加强IMEI管理,山寨手机将面临更大的监管压力,但这也给了山寨手机发展机遇.希望山寨手机能够走好转型升级之路,走出山寨. 山寨手机近两年达到发展的高峰.根据赛迪顾问统计,山寨手 ...… 查看全部问答＞ |
|
我写了一个算式 在1602的第一行输入（1+2*(sin1.57+6)-2）*3= 然后交给单片机进行计算 但是第一行输入的数据超过了屏幕显示的范围，整屏移动了 我先写了write_cmd(0x80+0x40) 然后写了write_cmd(0x02)，我记得这个命令就可以让指针回车换行 ...… 查看全部问答＞ |
|
我用的是K9F1208UOB.三星在出厂前对坏块进行标志。DATASHEET上说是，每个BLOCK的第一或者第二页的第517字节会有非FF数据的坏块标志。但我在友善以及立于泰等开发板的FMD_GetBlockStatus()函数中都只对第一页进行判断，万一坏块标志不 ...… 查看全部问答＞ |
|
请教下各位一个问题： 在28335中直接调用sin 或cos 函数计算一次大概需要多少时间？ 我在dsp中编写了一个简单的小程序，运算100次sin（x），然后toggle- ...… 查看全部问答＞ |