发明美元触觉手套:既能识别物体,又能称重,论文已上ature腾讯云开发者社区

手边没有秤时我们往往喜欢把东西拿起来掂一下,经验丰富的人可能真的能估计出物体的质量,但并非人人都有这种「超能力」。最近,MIT 的研究人员就发明了一种新的手套,戴上它不仅能掂出手边的小东西有多重,还能仅通过触觉识别出是什么物体。重点是,这么神奇的手套成本只有 10 美元。

MIT 研究人员开发了一种低成本的针织手套(仅需 10 美元)——「可伸缩触觉手套」(STAG,scalable tactile glove)。该手套配有 548 个微小的传感器,几乎遍布整个手掌。当人以各种方式和物体进行交互时,每个传感器都会捕捉压力信号。神经网络会处理这些信号,以「学习」与该物体相关的压力-信号模式,并形成数据集。然后,该系统利用收集到的数据集对物体进行分类,并仅通过触觉来预测它们的重量,整个过程无需视觉输入。

该技术可以用来帮助机器人识别和操纵物体,也可以用于假肢设计。

STAG 从人类的抓握中学习。a)STAG 手套学习人类抓握的全过程。b)STAG 手套的架构设计。

「人类能够很好地识别和处理物品是因为我们有触觉反馈。当我们触摸物品时,我们能感觉出来它到底是什么。但机器人没有这么丰富的反馈。我们总是希望机器人能够做到人类做的事,比如洗碗或其它杂务。如果你想让机器人做这些事,那它首先能够很好地操纵物体。」手套发明者之一 Subramanian Sundaram 说道,他博士毕业于 MIT CSAIL。

该项研究发表在了《Nature》上,论文为《Learning the signatures of the human grasp using a scalable tactile glove》。

研究人员在论文中介绍了其利用 STAG 与 26 个常见物体进行交互并收集到的数据集,这些物体包括汽水罐、剪刀、网球、勺子、钢笔等。基于该数据集,该系统预测物体类别的准确率可达 76%。该系统还能够准确预测大部分 60g 以内物体的重量。

市面上流通的类似传感器手套动辄上千美元,通常还只包含 50 个传感器,捕捉到的信息非常有限。但 MIT 研究人员设计的这款 STAG 手套,能够生成高分辨率的数据,且成本仅为 10 美元!是的,你没看错,10 美元。

提高机器人的理解能力

这个触觉传感系统可以与传统的计算机视觉和基于图像的数据集结合使用,从而使机器人对与物体的交互有更人性化的理解。

研究人员还使用数据集来衡量物体交互过程中手部不同区域之间的合作。例如,当人们使用食指的中间关节时,他们很少会使用拇指。但是食指和中指的指尖总是与大拇指一起使用。

Sundaram 说:「我们首次量化地证明,当我使用手的某一部分,使用另一部分的可能性有多大。」

物体操纵和抓取过程中手部各区域的合作。

假肢制造商可以利用这些数据来选择放置压力传感器的最佳位置,并帮助定制假肢,以适应人们经常接触的任务和物体。

利用触觉地图识别抓取物体

STAG 覆盖有一张可根据外在压力改变电阻的导电聚合物。研究人员让导电线穿过导电聚合物薄膜中的洞,从指尖一直到掌根。这些线形成一个个压力传感器。戴着 STAG 的人抓握、举起、放下或感受一样物体时,这些传感器可以记录每个点的压力。

这些线连接手套和外部电路,从而将压力数据转换为「触觉地图」,即手上各个点变大变小的视频。这些点表示压力点的位置,点的大小表示力的大小:点越大,压力越大。研究人员使用 STAG 手套与 26 个不同物体进行交互,并基于触觉地图收集了一个数据集,包含 135000 个视频帧。神经网络可使用这些视频帧预测物体的类别和重量,并感知人类的抓握。

为了识别物体的类别,研究人员设计了一个卷积神经网络(CNN),从而将特定的压力模式与特定物体联系起来。但是这个技巧需要从不同类型的抓握中选择视频帧,以获取物体的全貌。

其思路是:模仿人类抓握物体的多种不同方式,以便可以在不使用视力的情况下识别出物体类别。同样地,该 CNN 半随机地从视频中选取表示不同类型抓握行为的八个视频帧。

但是 CNN 无法从每个视频的数千个帧中随机选取帧。因此,它将类似的帧聚合在一起,形成对应不同抓握的各个簇。然后,它从每个簇中选取一帧,确保每个帧都具备代表性。接下来,CNN 使用它在训练过程中学到的接触模式,预测物体分类。

「我们想最大化选取的不同帧之间的差异,为网络提供最好的输入。」Kellnhofer 表示,「单个簇中的所有帧具备类似的信号,可以表示抓取物体的相似方式。从多个簇中采样可以模拟人类在探索物体类别时不断尝试不同抓握的方式。」

对于重量估计,研究人员构建了另一个数据集,包含手指和拇指抓、握、放下物体时的触觉地图的 11600 个视频帧。需要注意,CNN 训练数据集与测试数据集完全不同,这意味着它无法学习简单地将重量和物体联系起来。在测试中,研究人员将单个帧输入到 CNN 中。

本质上,CNN 只会挑出物体重量带来的手部压力,忽略其他因素(如为防止物体滑落所使用的手掌位置)导致的压力。之后,CNN 基于恰当的压力计算重量。

该系统可与机器人关节上的传感器结合起来使用,来衡量力矩和力,从而帮助机器人更好地预测物体重量。「关节对于预测重量来说是很重要的,但是从手指和手掌中我们也捕捉到了重要的重量组件。」Sundaram 表示。

根据触觉信息识别物体类别并估计重量。

a) 利用触觉信息来识别物体的 CNN 架构;b) 与使用随机输入相比,使用来自 N 个不同簇的不同触觉地图作为输入时,物体识别准确率有所提升;c) 单手操纵物体时的一组代表性示例;d) 模型扩展版学到的卷积滤波器;e) 对来自单个物体交互的触觉地图进行聚类,以确定该物体的不同类型触觉地图;f) 与线性模型相比,基于「Leave-one-out」的 CNN 的重量预测结果(置信区间为 ± 95%)。

THE END
0.fuckgay潮喷官方版下载fuckgay潮喷正版下载V12.42.30你知道汽车安全带是谁发明的吗 舞蹈家黄豆豆拟破格提拔为副局级干部 《被问很多次的上衣其实是同一件衬衫》 多家银行宣布下调存款利率 杂~鱼♡杂~鱼但是广汽丰田!! ぬぬぬぬぬぬぬぬぬぬぬぬぬぬぬぬぬぬぬぬ 《手搓VR眼镜》,轻轻松松,优势在我 男子借七旬老父4万用假存单还款 把少女的思念jvzq<84o09ojt=;0cuob1YTVu1722=d
1.视觉科技三大预言,“不见苹果只见未来”的全屏通如何炼成的?金龙说,“手机伴侣通过全屏通三大发明打通了作为空间计算终端的屏障之后,就可以转化为‘人工智脑’,成为AI时代的终极终端。”相对于市面上其他的智能眼镜称之为AR或者VR设备,全屏通头显在三大发明的加持下实际上是CR(Crosser Reality,穿越现实),位于打通了现实与虚拟的CR智能头显并不再是智能眼镜产品,而是定位做Futujvzq<84hkpgoen3ukpg/exr0ep5uglm1tqrm1;547/64/;<1fqi.kwjs{tlq:B8599>/uqyon
2.【南京晨报夏令营】“冲上云霄”飞天梦想——航空科教三日夏令营|【VR知识大揭秘】我们在阻力伞的阻力下艰难的奔跑,那么有么有想过如果换成降落伞我们从空中跳下呢?如果害怕体验真正的跳伞运动,那就来一场说跳就跳的模拟跳伞吧 【航空八大发明之走马灯制作】走马灯起源于汉代,走马灯上有平放的叶轮,下有燃烛或灯,热气上升带动叶轮旋转,这正是现代燃气涡轮工作原理,为飞机燃气发jvzq<84m0uooc7hqo0io1jwvkerfa;6::4636@:a:4
3.永兴集团彩票入口官方版下载《手搓VR眼镜》,轻轻松松,优势在我 陪特朗普见冠军球队,万斯刚要捧杯合影奖杯直接散架 柳嫂子送来的三菜一汤,贾宝玉都吃的很香,为什么芳官反而嫌弃说油腻腻的? openai官宣400亿美元最新融资 【KARDS】大人,时代没变!——疯子杰克 谢娜二公被冷到大喊导演名字 中国和西班牙升级电影合作,你看过哪些西班牙电影?未jvzq<84o0vmv4ƒ60kplp1Jwvkerf1?83747/J}r
4.参观科技馆观后感(通用37篇)还有两个着超真实的VR眼镜和座椅。当你戴上眼镜时就会发现身边什么东西都没有了。只有眼前的`景象非常的逼真。这次我用VR眼镜体验了过山车。非常的刺激,非常的逼真。 还有很多智能表智能的健身器材,跑步机还有处方机器人。我们一群人好奇地走到出智能厨房面前。研究开始给我们讲解厨房的各种先进的功能 jvzquC41yy}/{~|gpoo/exr1iwgojxzicp548:>6;84ivvq
5.发明工场——科技创新的排头兵!发明工场:职业发明人周良勇的个人网站,展示令人耳目一新的发明与专利。jvzq<84yyy4dp:3pgv5
6.手机没有陀螺仪功能可以用vr眼镜吗?和有陀螺仪功能的有什么不同?手机没有陀螺仪功能无法使用VR眼镜的原因是陀螺仪在VR体验中起到平衡和定位的作用。然而,即使没有陀螺仪功能,仍可利用手机进行VR体验。但需要注意的是,由于没有陀螺仪功能,手机无法提供全景视图,并且效果相对较差,因此建议谨慎使用。以下是手机VR眼镜装置的步骤:1. 打开相应版本的魔镜app并将其放入机舱前部的扩展框jvzquC41ycv/|xq0eqs/ew4cum5ya;;864=167mvon
7.检测表情?戴着口罩也可以,华人科学家新发明让人脸变成“表情包”即当然可以用在 VR 上面,但以他了解到的最新技术来说,VR 眼镜已有更好的解决方案。 VR 眼镜本身已经很大,通过在上面加设备来捕捉人的表情,此前已经有人做过。而 C-Face 耳机的好处是它非常小,日常可以进行穿戴。因此,他觉得 VR 眼镜不一定是 C-Face 耳机最核心的爆点。 jvzquC41yy}/oryvtenjpj3eqo5og€x1fgzbku474;<
8.「致敬达芬奇」杭州站在宝龙艺术中心开幕【VR眼镜体验区】戴上眼镜遨游达芬奇世界 通过VR眼镜,观众可以走进达芬奇的工作室,立体观看达芬奇的发明创造、机械装置的工作原理,走进达芬奇坦克观看其内部的结构,看明轮船在河上行驶,欣赏翱翔的飞行器从天而降。一部眼镜带你走进达芬奇的手稿世界,看一件件发明变成现实。 jvzquC41yy}/m~sokpm/ew4pgyy0e8724331865313936<8:50yivvq
9.关于插上科学的翅膀飞优秀作文范文(精选71篇)“真的吗,奶奶?”小雯兴奋地说,“小猴子,你好可爱呀!”小猴子看了过来,它抓了抓耳朵,又挠了挠自己的腮帮子,发出了声音:“谢谢你,可是你怎么能和我讲话呢?”小雯自豪地说:“我奶奶发明的动物语言转换机,是它让我和你讲话的。”“这可真是一个好东西。”小猴子拍了拍手。 jvzq<84yyy4vpsx0eqs0|~tygpjbs~fp1i{bp‚z|wq}fp8874;>4;7mvon
10.这可能是关于元宇宙,最正经而深入的一篇解读科技频道还有就是一些各种各样的行业应用,举个例子,你跟一些汽车厂商在合作,有些厂商因为我们有一些 VR 眼镜,就是包括刚才说的超短焦的这些 400 项专利,我们把它应用到各个行业,可能就是垄断的,那么在这样的行业终端的基础之上,然后它再做它的一些比如说汽车,那我们跟一些车厂谈了,它们觉得有机会,比如说小鹏,蔚来汽车,jvzquC41vgii0qjzwp4dqv44248.2?2441818;5356;/j}rn
11.全人类假灭绝,徒手重建文明的我被直播了最新章节全文阅读V1275、VR眼镜安排!奎爷这是要干啥?!(求订阅,求月票!) V1276、奎爷表情凝重!又发生什么事了?! V1277、奇怪的移动!星期五腰间信号装置丢失! V1278、荒岛VR虚拟世界!属实挺好玩呀! V1279、林墨率先体验虚拟房屋!(求订阅,求月票!) V1280、海底机器人!(求订阅,求月票!) V1281、江奎研究机器人芯片!(求订阅,求jvzquC41ycv/hjqqq0ipo8gqqmrju}4;79;2:7mvon