1、语言AI

OpenAI，由诸多硅谷大亨，联合建立的人工智能非营利组织。

2018到2019年，OpenAI发布了语言AI，整个模型，包含15亿个参数。

这个AI，能完成各种特定领域的语言建模任务，还具备阅读理解、问答、生成文章摘要、翻译等能力。

这位AI写手，名叫GPT-2。它训练用的数据，都是人类写作的原始文本。无监督学习过程，纯洁无污染。

读了AI编的新闻报道……

由于AI生成的假消息，太过真实，OpenAI的开源动作，也变得十分谨慎。与以往不同，这一次开源的内容，没有完整的预训练模型，只放出了一个1.17亿参数的“缩小版”。

这个AI的后面，藏着一位语文老师-------语言模型全能王：“语言建模”（language modeling）。

OpenAI的研究人员表示，在各种特定领域数据集的语言建模测试中，GPT-2，都取得了优异的分数。作为一个没有经过任何领域数据专门训练的模型，它的表现，比那些专为特定领域打造的模型，还要好。--------《AI编起故事来，可一点都不比人类差》

除了能用于语言建模，GPT-2，在问答、阅读理解、摘要生成、翻译等任务上，无需微调，就能取得非常好的成绩。--------《AI编起故事来，可一点都不比人类差》

通用模型：使用语言建模，作为训练信号，以无监督的方式，在大型数据集上，训练一个Transformer，然后，在更小的监督数据集上，微调这个模型，以帮助它解决特定任务。

2、防止恶意应用，OpenAI不开放完整模型

GPT-2，这样的通用模型，会带来巨大的社会影响。比如，利用它，开发AI写作助理、无监督的翻译系统、更强大的对话机器人，利用它，构建更好的语音识别系统。

它也能被用来生成--------具有误导性的新闻报道、垃圾邮件、社交媒体上的伪造内容等。加上先前图像、音频、视频合成与生成的研究，能够大幅度降低制作虚假内容的成本。以后，我们在网络上看到的东西，是真是假，可能就很难分辨。

为了避免这种情况发生，OpenAI官方表示，不会发布经过训练的模型，为了能够让更多的研究人员，进行试验，发布了一个更小的模型以及技术论文。--------《AI编起故事来，可一点都不比人类差》

让人工智能，发明自己的语言：OpenAI语言理解研究新方向--------Ryan Lowe 和 Igor Mordatch 打算研究--------如何让智能体与说英语的智能体交流？这将让被发明的语言与英语连接起来。这将会自动将他们的语言翻译成我们听得懂的话。这属于交叉学科的研究内容--------跨人工智能、语言学以及认知科学，也是他们即将与UC Berkeley 的研究人员，合作研究的部分内容。

辩论 AI，再学习能力，推理能力

强大的语料库，是Debater展开辩论的基础。据IBM方面介绍，训练Debater的语料库，拥有3亿多个可靠信息来源，包含，2011年以来，全球商业、法律、学术和政府机构等领域的专业人士所使用的主流报纸和杂志中的文章，以及维基百科。

1、Debater由IBM研究院以色列海法实验室，于2011年提出，是全球首个可以在全程直播辩论过程中，与人类进行有意义互动的AI系统。

1）Project Debater首席研究员Noam Slonim博士，表示：“Debater，是IBM在人工智能领域深耕超过60年，所实现的一系列人工智能里程碑中的最新成果，推动了人工智能，向更前沿的领域进军。”

2）Slonim向第一财经记者，介绍了支撑Project Debater的三大主要功能：第一个功能，是数据驱动的演讲稿撰写和表达。Debater首次证实了计算机，能够消化大量的语料库，也就是说，只要给它提供一个论题的简短描述，它就能撰写出结构完整的演讲内容，并且，有针对性地清晰表达出来。第二个功能，是听力理解。Debater能够识别口述的长篇大论中，隐含的重要概念及观点主张。第三是模拟人类困境。Debater通过独特的知识图谱，来模拟人类的矛盾和困境，使得系统能够根据需要，提出原则的论点。

2、辩论 AI Debater：通过构建知识图谱，针对不同论证中的共同点建模，形成辩驳的能力。

1）“所以我们需要在这些方面不断去建模、扩大语料库，包括，人类丰富的语言中，各种细微和微妙的地方。这样，Project Debater在已经建模的知识图谱中，才能够更加精准地为自己导航，找到支持自己论点的内容。”Noam Slonim博士强调。

2）Project Debater的辩论场景，是开放式，不是非赢即输的。人们，对于辩论陈述的好坏评价，是非常主观的判断。Project Debater 的训练，使用了深度神经网络和弱监督学习。深度神经网络（DNN）和弱监督，都要用到有标签的数据，去培训机器做出正确的回答。

3）研究人员，教会Project Debater，通过关键词判别标签，比如，一旦句子中出现“认为”、“想”、“假定”、“相信”等表达，这就判定为，属于陈述内容。科学家，开发了多种工具和方法，以弱监督方式训练DNN，以获得训练需要的大量人工标记的高质量数据。

4）Project Debater，是否会向人类中的一级辩手学习？Ranit Aharonov博士，表示，“在涉及到通过建模去模拟人类困境的时候，我们听取顶级辩手的意见，参考他们是如何应对在同样一个话题下，不同观点的冲突。”

3、Project Debater的最终目标，也许并不是让机器像人一样自由辩论，或者比人辩论得更好，而是促进AI在语言理解领域的研究。语言理解，一直都是AI领域的重点，也是IBM在AI研究方面关注的重点。科学家们认为，目前，所有企业在这个方面的研究，还远远不够。

1）据称，IBM研发Debater的初衷，是为了通过中立的辩论帮助人们拓展智力（expand human minds through impartial debate），最终帮助人们更好地做出决策。

2）IBM 海法研究院 AI Tech 副总裁 Aya Soffer 博士：“Project Debater下一步是怎么样的？就是要让人工智能更像人。我们，希望AI下一步的发展，是从比较窄的例子上学习，扩展到比较宽泛的领域、跨不同领域的应用，以及能够从概念上学习。不是仅仅再学习的能力，而是自己去推理的能力。”

（1）Debater的真正目的：让AI真正掌握人类语言。自然语言理解，非常复杂且高难度，也是AI科学家一直想突破的下一个边界---------达到更高难度、更复杂信息、持续更长时间的自然语言理解水平；未来的AI，可能做到像人一样，具备真正的逻辑推理能力。

（2）Debater系统，能够针对复杂话题，进行更长时间的听和理解，并进行连续性的演讲，最长可持续4分钟。听懂复杂辩论内容，快速构建逻辑表达，以及模拟人类在辩论中的两难境地，Debater的这些能力，已经超越了简单的自然语言理解。有更深层的AI能力，在支撑。

（3）IBM副总裁 Dario Gil表示：“放眼该领域，它将超越信息检索，进入到一种真正的推理模式—— 创作语言(composing language)，从而，给出我们从未见过的答辩。人工智能，要展示自己、并真正实现自己的潜力，它必须置身于人类所处的纷杂的世界中。”

让人工智能发明自己的语言：这属于交叉学科的研究内容--------跨人工智能、语言学以及认知科学。

零基础学习心理学与人工智能