空中“作战”的无人机

由此，微软亚洲研究院的研究员们提出了为低频词词动态记笔记的方法 Taking Notes on the Fly（TNF)，记录历史上出现过稀有词的句子信息，从而使得当模型再见到该低频词的时候，对其的理解能够更加充分。

如图3所示，研究员们希望模型能够从笔记「The COVID-19 pandemic is an ongoing global crisis」（COVID-19 是一场持续发生的全球危机）推测出「COVID-19」与生命有关，从而更容易理解任务得出上述完形填空问题的答案「lives」（生命）。

具体说来，TNF 维护了一个笔记词典。在这个笔记词典中，每一个低频词都存有一个上下文表征向量（Contextual representation）来作为笔记。

当该词出现时，TNF 从笔记词典中取出其的上下文表征向量，与其词向量一起构成模型在该位置的输入，同时也更新笔记上针对这个词的内容。如图4所示：
 

另外，研究员们还特殊处理了 [CLS] token 的位置，使其不会因太过关注局部而忽略了整个句子的信息，整体 TUPE (Transformer with Untied Positional Encoding)结构如图1所示。

实验结果如图2，可以看到，该方法不仅最后比基线要好很多，并且可以在 30% (300k-step) 的时候，就达到基线在 1000k-step 时的效果。

TUPE 的完整工作请见：https://openreview.net/forum?id=09-528y2Fgf

高效数据利用：让 BERT 像人类一样记笔记（ICLR 2021）

众所周知，在语言数据集中，单词通常具有非常长尾的分布，即大量的单词在整个数据集中都具有很低的出现频率。而这些低频词的词向量，往往训练质量都不佳。

这些低质量的词向量，给模型理解整句训练语句造成了困难，进而拖慢了整个模型预训练的速度。

举例来说，如图3所示，如果「COVID-19」是一个低频词，做完形填空的人如果对其含义一无所知的话，那么想要填对合适的词是十分困难的，类似的问题也会发生在自然语言预训练的过程中。
 

区块链数据公司Chainalysis在其最新发布的年度加密犯罪报告中表示，2020年犯罪地址从从勒索软件中接收的加密货币比在2019年多了311%。

该报告还警告说，这只是一个保守的估计，因为Chainanalysis可能会发现更多与勒索软件支付有关的地址。

同时，与加密货币相关的犯罪活动在2020年显著下降。报告指出，2019年犯罪活动占所有加密货币交易量的2.1%，约为214亿美元。2020年，加密货币活动中的犯罪比例下降至0.34%，即100亿美元的交易量。

尽管与勒索软件相关的支付大幅增长，但在2020年，它们仍只占加密犯罪的7%。绝大多数加密货币犯罪都与暗网市场和一般类别的诈骗有关。

这份报告还为2020年与勒索软件相关支付的增加提供了可能的解释。“当今疫情下人们在家工作给许多组织带来了新的漏洞。”

根据NPR和《华尔街日报》的报道，在疫情爆发期间，勒索软件程序一直在大举攻击医院和学校，因为攻击者希望利用易受攻击机构中的薄弱系统。

国土安全部高级顾问Joshua Corman告诉《华尔街日报》，对勒索软件的担忧不仅仅是对医疗设施的金融攻击，还可能对生命安全造成威胁。
 

接下来小编就介绍几个常见人工智能专业方向：

一、机器人工程专业

机器人工程近几年新兴的专业，是一门在真实世界环境下将感知、决策计算和执行驱动组合在一起的应用交叉学科和技术。2016年在大学里首次设立是教育部重点扶持的专业之一，如今也已经成为了热门专业，该专业主要是为了培养具备工业机器人技术及创新能力的专业人才。

二、智能科学与技术专业

智能科学与技术专业在硬件基础上，给机器人赋予一个类似人的大脑，神经传导及信息处理系统，简单说来就是学习如何控制机器人，学科的设立也是为了适应社会对从事智能化产品研发人员迫切需求的现状。

三、计算机科学与技术专业

计算机科学与技术专业专业主要是为了培养具有良好的科学素养，系统的、全面的掌握包括计算机硬件、软件与应用的基本理论和基本知识的人才。与人工智能学习也有交叉部分，毕业后就业相对容易。

四、模式识别与智能系统专业

模式识别是一个新兴的交叉学科，是自动控制、模式识别、人工智能、模糊逻辑、仿生学和计算机科学与技术等多个学科融合的产物。该专业是一门理论与实际紧密结合，具有广泛应用价值的学科，对于人工智能是起到至关重要的作用的。

五、自动化专业该专业

能够使机器、设备和仪器能全部按照规定的要求和既定的程序进行生产的一门专业。自动化专业对于人工智能是属于基础学科，涉及面是比较广。无论是哪一个专业，本科对于人工智能的接触都是比较表面，如果真的想要从事与人工智能相关专业的话还是必须要读研的，而且一定要重视本科中数学的学习，另外人工智能常常对嵌入式要求比较高，因此要注意以下这方面的课程。

人工智能是一门新兴的高尖端学科，属于社会科学与自然科学的交叉学科，涉及了数学、心理学、神经生理学、信息论、计算机科学、哲学和认知科学、不定性论以及控制论。研究的范畴包含自然语言的处理、机器算法的学习、神经网络、模式识别、智能搜索。应用的领域包含机器翻译、语言和图像理解、自动程序设计、专家系统等。选择学习人工智能相关的专业，未来的发展前景比较好。

（编辑：南通站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!