• 我的订阅
  • 科技

【玖越机器人】堆叠降噪自动编码器(SDAE)

类别:科技 发布时间:2023-01-22 01:00:00 来源:玖越机器人

自动编码器(Auto-Encoder,AE)

自编码器(autoencoder)是神经网络的一种,经过训练后能尝试将输入复制到输出。自编码器内部有一个隐藏层 h,可以产生编码(code)表示输入。该网络可以看作由两部分组成:一个由函数 h = f(x) 表示的编码器和一个生成重构的解码器 r = g(h)。我们不应该将自编码器设计成输入到输出完全相等。这通常需要向自编码器强加一些约束,使它只能近似地复制,并只能复制与训练数据相似的输入。

自动编码机由三层网络组成,其中输入层神经元数量与输出层神经元数量相等,中间层神经元数量少于输入层和输出层。搭建一个自动编码器需要完成下面三样工作:搭建编码器,搭建解码器,设定一个损失函数,用以衡量由于压缩而损失掉的信息(自编码器是有损的)。编码器和解码器一般都是参数化的方程,并关于损失函数可导,典型情况是使用神经网络。编码器和解码器的参数可以通过最小化损失函数而优化。

【玖越机器人】堆叠降噪自动编码器(SDAE)

自动编码机(Auto-encoder)是一个自监督的算法,并不是一个无监督算法,它不需要对训练样本进行标记,其标签产生自输入数据。因此自编码器很容易对指定类的输入训练出一种特定的编码器,而不需要完成任何新工作。自动编码器是数据相关的,只能压缩那些与训练数据类似的数据。比如,使用人脸训练出来的自动编码器在压缩别的图片,比如树木时性能很差,因为它学习到的特征是与人脸相关的。

自动编码器运算过程:原始input(设为x)经过加权(W、b)、映射(Sigmoid)之后得到y,再对y反向加权映射回来成为z。通过反复迭代训练两组(W、b),目的就是使输出信号与输入信号尽量相似。训练结束之后自动编码器可以由两部分组成:

1.输入层和中间层,可以用这个网络来对信号进行压缩

2.中间层和输出层,我们可以将压缩的信号进行还原

【玖越机器人】堆叠降噪自动编码器(SDAE)

降噪自动编码器(Denoising Auto Encoder,DAE)

降噪自动编码器就是在自动编码器的基础之上,为了防止过拟合问题而对输入层的输入数据加入噪音,使学习得到的编码器具有鲁棒性而改进的,是Bengio在08年论文:Extracting and composing robust features with denoising autoencoders提出的。

论文中关于降噪自动编码器的示意图如下,类似于dropout,其中x是原始的输入数据,降噪自动编码器以一定概率(通常使用二项分布)把输入层节点的值置为0,从而得到含有噪音的模型输入xˆ。

【玖越机器人】堆叠降噪自动编码器(SDAE)

这个破损的数据是很有用的,原因有二:

1.通过与非破损数据训练的对比,破损数据训练出来的Weight噪声比较小。降噪因此得名。原因不难理解,因为擦除的时候不小心把输入噪声给×掉了。

2.破损数据一定程度上减轻了训练数据与测试数据的代沟。由于数据的部分被×掉了,因而这破损数据一定程度上比较接近测试数据。训练、测试肯定有同有异,当然我们要求同舍异。

堆叠降噪自动编码器(Stacked Denoising Auto Encoder,SDAE)

SDAE的思想就是将多个DAE堆叠在一起形成一个深度的架构。只有在训练的时候才会对输入进行腐蚀(加噪),训练完成就不需要在进行腐蚀。结构如下图所示:

【玖越机器人】堆叠降噪自动编码器(SDAE)

**逐层贪婪训练:**每层自编码层都单独进行非监督训练,以最小化输入(输入为前一层的隐层输出)与重构结果之间的误差为训练目标。前K层训练好了,就可以训练K+1层,因为已经前向传播求出K层的输出,再用K层的输出当作K+1的输入训练K+1层。

一旦SDAE训练完成, 其高层的特征就可以用做传统的监督算法的输入。当然,也可以在最顶层添加一层logistic regression layer(softmax层),然后使用带label的数据来进一步对网络进行 微调(fine-tuning) ,即用样本进行有监督训练。返回搜狐,查看更多

责任编辑:

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-01-22 06:45:08

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

人形机器人核心部件!力传感器与编码器龙头20CM涨停,受益上市公司一览
券商研报近日指出,力传感器与编码器是人形机器人的核心部件,其中力传感器感知并度量力,在人形机器人关节上具有应用,编码器可测量旋转角度与速度,可通过伺服系统应用于人形机器人中。从竞
2023-07-02 11:00:00
...术开发 已成功研发微型伺服驱动器、中空型多圈绝对值编码器、无框伺服电机等核心部件 【雷赛智能:推动人形机器人规划布局及产品技术开发 已成功研发微型伺服驱动器、中空型多圈绝对值
2023-11-03 20:37:00
新华医疗获得发明专利授权:“装盘系统”
...了一种装盘系统,包括电磁离合器、装盘驱动装置、追踪编码器和安装架,所述装盘驱动装置包括旋转驱动部;所述电磁离合器包括与所述旋转驱动部固定连接的第一离合器片和与所述追踪编码器固
2025-02-26 04:38:00
SAM是如何做到“分割一切”的
...作‘编码解码器’的构架。”记者了解到,SAM先通过图像编码器为图像生成编码,同时用一个轻量级编码器将用户的文字提示转换为提示编码。然后,SAM将图像编码分别和提示编码信息源组
2023-04-17 01:26:00
【玖越机器人】视频网站为了降本纷纷砍画质,为何只有谷歌仍在坚持?
...歌VCU芯片的布图规划也可以看出,大部分区域都分配给了编码器核心,其次是四通道的LPDDR4内存,不仅提供边带错误纠正,也提供芯片所需的带宽。编辑VCU芯片布图规划/ 谷歌每
2023-01-14 03:00:00
显卡对于游戏的重要性,你知道多少?
...专门针对游戏玩家直播的需求推出了一项解决方法:NVENC编码器,通过与直播软件的合作优化,从硬件级层面把显卡的编码能力利用起来,让游戏玩家可以把自己游戏的视频清晰同步到直播网
2022-12-15 09:36
富有创意的micro:bit机器人和物联网项目合集
...enPlus的中继运输机器人、智能家居系统、带有人脸识别和编码器的智能汽车等等。我们的目标是激发您对micro:bit创新世界的探索热情
2024-03-15 10:30:00
VIMA:更适合机械宝宝体质的操作系统,竟然内置LLM!
...臂系统的组成结构VIMA主要由以下几个部分组成:Transformer编码器和解码器 :用于对多模态提示进行编码和机器人臂的控制进行解码
2023-08-03 18:00:00
感官协同配合的精细操纵,人大胡迪团队探索机器人模态时变性挑战
...如图 2 所示):特征提取模块:该模块包含一系列单模态编码器,每个编码器都接受一段简短的单模态观测历史作为输入,并将它们编码为特征。 状态编码器:该模块旨在将各模态特征和动作
2024-11-09 09:53:00
更多关于科技的资讯: