区块链2021狂想曲

简单来说，就是去掉了位置 （position） 和文本（ token） 之间的交叉，同时用了不同的变换矩阵。

需要注意的是，在多层的 Transformer 模型里，比如 BERT，上面公式的第二项在不同层之间是共享的。因此，这里仅需要计算一次，几乎没有引入额外的计算代价。
 

为了降低预训练的准入门槛，微软亚洲研究院机器学习组的研究员们从机器学习中的不同角度出发，针对预训练的不同侧面分别提出了加速方法。具体而言，研究员们提出了基于 Transformer 的新结构 TUPE，针对 BERT 设计了数据高效利用的策略，以及扩展了类似人类学习的预训练任务。

其中前两项工作已被新鲜出炉的 ICLR 2021 接收。这些方法既可以独立使用，也可以结合起来使用，从而可以达到更大的加速比。原来需要10天的训练，现在只要一天就可以完成！

基于 Transformer 的新结构 TUPE（ICLR 2021）

位置表征（Positional Embedding）大家都知道，但这个设计真的高效、合理吗？

由于 Transformer 在结构上不能识别来自不同位置的词语，所以模型一般需要用位置表征来辅助。其中最简单的做法就是在输入词向量上直接加位置表征，但词向量和位置向量相加是不是一个正确的选择呢？

词向量的加减操作可以保持语义，但位置向量本身是不具备语义的，两者相加会不会让模型更难学呢？在第一层对 Transformer 的注意力分布（attention weight）进行展开可以得到：
 

人工智能给我们生活带来的好处：

人工智能在数据集上有着一定的优势。人工智能有三大商业方向：大数的统计、对用户情绪评估、与用户之间的社交纽带。人工智能通过这三大商业方向，以更好地了解人类。同时也可以创作出更好的软件，以此来给更多的人带来快乐。在未来可以增加客户体验，给客户带来快乐的企业，将会赚取更多的商业价值。

当扫地机器人、削面机器人、做饭机器人、工业机器人、消防机器人、战斗机器人等开始运用于我们的生活中时，不得不说给我们的生活带来了极大便利。人工智能在能源发展过程中会间接地提高能源的利用率。这个功能在日常生活中的表现是：有些智能硬件，可以根据你以往的习惯，判断你什么时候到家，这样在你进入房子之前它就可以把室内气温调节到相宜的温度，这样就是一种节约能源的方式。如果这种智能设备能够被成千上万的家庭使用的话，那能源利用率就会极大地提高，能源就会得到极大的节省。

其次，人工智能和人类智慧越来越明显的分工会极大地节省人力资源成本，这必然会成为人工智能在未来工业领域的一大趋势：有些效率低的工作由智能机器人做更好。比如有些重复性的工作，这些工作由智能机器人来做不但节约了人力成本而且提高了工作的效率。如果把人工智能应用在工业中，去调节一些不可控的因素，而不需要消耗大量的人力。比如风车发电，有了人工智能，就不需要浪费大量人力在不确定的风向上，人工智能设备会根据不同的风向对风车做出相应的并且是及时的调整。

人工智能在医疗上也起到很大的帮助。很多医生都不能确定的病情，人工智能可以通过它的大数据进行分析和理疗。再好比当下的人工智能无人汽车。在技术保障的前提下，这不仅大大降低了事故发生率，还节省了驾驶人员大量的驾驶时间。

人工智能给我们生活带来的风险：

大规模的失业，人工智能的发展，导致很多人失业，机器人不会犯错，不会累，不需要休息，不需要工资，这完全可以代替很多职业;人工智能时代的到来可能是对人类的一次大淘汰。机器人对人类的大淘汰;才争夺战导致垄断、贫富分化加剧，人工智能时代的到来，必将引发空前的人才争夺战。谁拥有的各类一流人才数量多质量高，谁就能赢得最后胜利。

随着社会科技的快速发展，人工智能进入了高速发展的轨道。人工智能给我们生活带来了很多便利。人工智能带给我的利大于弊，机遇与风险并存，如何利用好大数据更为重要!

（编辑：南通站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!