历史上的今天
今天是：2025年07月08日（星期二）
2020年07月08日 | Motion2Vec算法的开发主要基于暹罗网络和递归神经网络
2020-07-08 来源：机器人大讲堂
模仿是最原始的学习方法，也是实现人工智能的基石。
通过和算法，机器人也可以通过看视频学会各种各样的技能。
没错，它就是技艺高超，被大家所熟知的达芬奇机器人。
这次它又被赋予了新功能：通过观看教学视频，学会外科手术中的相关任务。比如缝合，穿针，以及打结等动作。
让达芬奇机器人变成‘模仿艺人’的关键，是一个叫做Moon2Vec的半监督式学习算法，近日由谷歌大脑，公司和加利福尼亚大学伯克利分校合作开发。
起初，加州大学伯克利分校的教授曾使用YouTube视频作为机器人学习各种动作（例如跳跃或跳舞）的指南。机器人模仿视频中的动作，成功学习了20多种杂技，比如侧空翻、单手翻、后空翻等高难度动作。
谷歌此前也有过相关研究，例如使用视频来教授四足机器人学习狗狗的灵活动作。
这些经历促成了他们彼此的合作，他们将这些知识应用于项目MoTIon2Vec中，在这个过程中，使用了实际手术过程的视频进行指导和训练。
在最近发布的论文中，研究人员概述了他们如何使用YouTube视频训练两臂的达芬奇机器人在织布机上插入针头并进行缝合。
人类在看视频的时候可以迅速理解内容，但机器人目前无法做到这一点，它们只是将其视为像素流。因此，要以机器人的方式让他们理解并学习——弄清并分析这些像素，然后将视频分割成有意义的序列。
事实上，MoTIon2Vec算法的开发主要基于暹罗网络和递归。
暹罗网络（Siamesenetwork）就是“连体的神经网络”，神经网络的“连体”是通过共享权值来实现的。它的主要功能是衡量两个物体的相似度。比如，看看某两个人长得像不像。
这样，研究人员就可以将视频中相同动作段的图像放到一起，并给它们做一个，比如‘针头插入’，或‘瞄准位置’等，从而对视频中的图像进行分割和分类。
然后，研究人员使用递归神经网络来找到那些没有被标记的图像，这些图像会反馈到暹罗网络中以改善动作片段的比对。
对于缝合任务，研究团队仅需要78个教学医学视频即可训练其引擎执行该过程，成功率为85％。
这似乎意味着机器人可以在外科手术中承担一些更基本，重复性的任务，但它们目前还无法完全代替医生来做手术。
加州大学伯克利分校实验室的负责人KenGoldberg解释说“我们想要看到的是，机器人在做基本缝合任务，而外科医生能够监视手术过程，比如像机器人表明他们想要在哪一排进行缝合，或传达出希望进行六次覆膜缝合的想法。” “这样，机器人能代替外科医生做最基本的任务，让医生们得到更多的休息，并能够专注于手术中更复杂或更细微的部分。”
责任编辑:pj
史海拾趣
|
大家好！我早上收到的东西，打开包装，接通电源，切换开关打到NOR FLASH一端，然后开机启动，白屏一下就黑屏了。关机，开关打到NAND FLASH一端，再开机，白屏，没反应。。 我按照说明书上的操作，调出超级终端，接收到的数据和说明书上 ...… 查看全部问答＞ |
|
我的手机是200万象素的，照相摄影的时候分辨率还是蛮好的。。 但是摄像的时候，分辨率只有120×160了，郁闷啊。。 我是用Directshow来采集数据的。。。 枚举视频格式的代码如下：hr = m_pCaptureBuilder->FindInterface(&PIN_CATEGORY_CAPTURE, ...… 查看全部问答＞ |
|
我用ATL开发了ActiveX控件，直接在模拟器运行 class ATL_NO_VTABLE CMainObject : public CComObjectRootEx, public CComCoClass, public IDispatchImp ...… 查看全部问答＞ |
|
...input a;output b;reg b;always @ (a)if(a)b=1\'b1;elseb=1\'b0;------------------------------------------------------------...input a;output b;assign b= a ? 1\'b1 : 1\'b0; 两段代码书写方法不一样。综合结果都是一个选择器。 ...… 查看全部问答＞ |
|
#include #include #define uchar unsigned char #define uint unsigned int sbit sda=P2^1; sbit scl=P2^2; void delay(void) { _nop_( ...… 查看全部问答＞ |