2018年，谷歌推出一种名为BERT的系统，使用一种将句子中的词语进行比对从而预测语义和语境的技术，这让追求更大、更智能的人工智能语言模型的趋势取得了重大飞跃，并且这些模型可以通过大量文本进行“预训练”。但真正给人工智能世界留下深刻印象的是GPT-3。GPT-3是总部设在旧金山的开放人工智能研究中心在2020年发布的，很快就由微软获得了该模型的独家授权。
GPT-3带来了创新实验方面的繁荣，因为通过付费获得访问权限的人工智能研究人员把GPT-3当作一个沙盒来测试人工智能的性能——尽管没有关于其训练数据的重要信息。
纠正模型“偏见”
开放人工智能研究中心在一篇研究论文中广泛描述了相关训练来源，并公开报告了它为应对该技术可能被滥用所做的努力。
但“大科学”项目联合负责人托马·沃尔夫说，开放人工智能研究中心没有提供它如何过滤这些数据的细节，也没有向外部研究人员提供有关处理过的数据的访问权限。
同时担任抱抱脸公司首席科学官的沃尔夫说：“所以，我们实际上无法分析GPT-3在训练时接收到的数据。最近这波人工智能技术浪潮的核心更多地是聚焦数据集而不是模型。最重要的是数据，而开放人工智能研究中心对其使用的数据极其讳莫如深。”
沃尔夫说，开放语言模型所使用的数据集有助于人类更好地理解模型的偏见。他说，与只在美国接受英语文本训练的模型相比，接受阿拉伯语训练的多语言模型就不太可能对伊斯兰教发表攻击性言论或产生误解。
谷歌的LaMDA是目前最新的人工智能实验模型之一。该模型在回答问题时给人留下了如此深刻的印象，以至于一名谷歌工程师说它正在接近于有意识——这一说法导致他上个月被停职。
图片说明 2020年8月15日，在苏州国际博览中心，两名小朋友在和机器人对话。（杭兴微 摄）
