• 周四. 6月 8th, 2023

鑫聊财经网

鑫聊财经网:做一个全方位为全世界提供最新最快的新闻咨询网站

关于ChatGPT的几个事实

admin

2月 20, 2023

<![CDATA[

一、ChatGPT全称Chat Generative Pre-trained(出自GPT最早的论文标题,Improving Language Understanding by Generative Pre-Training,感谢@树林ty 勘误),一层一层剥开,ChatGPT是Chat形式的GPT,GPT的意思是“生成式预训练Transformer”,三个关键词:“生成式”表明它的能力是生成内容;“预训练”表明它的能力是预先训练的。

二、除了Chat形式的GPT还可以有其它形式的GPT。

三、GPT是众多LLM中的一种模型,是由OpenAI开发的,其它的LLM模型包括:谷歌的LaMDA;谷歌的PaLM;谷歌的Bert;谷歌的GLaM;DeepMind的Gopher;DeepMind的RETRO;DeepMind的Chinchilla;英伟达和微软的MT-NLG;Facebook的OPT-IML;亚马逊的Multimodal-CoT;百度的文心一言(破名字);我国还有一个叫“悟道”的不知道谁开发的;等等。

(感谢@翻番 提供的图片)

四、基本上所有的LLM的技术路线都统一到了Transformer,该技术源自Google的一篇论文Attention is all you need 。

五、LLM全称Large Language Model,第一个L就是“大”,表示LLM模型一般都有巨大量的参数数量,也需要巨大量的算力进行训练和推理。

六、算力主要是GPU、NPU、TPU这些。

七、LLM训练一次的成本非常昂贵,据传ChatGPT训练一次花费460万美金。

八、大模型是当前的一个主流AI研究方向,还有其它研究方向,也就是说,AI需要拼算力这件逻辑不是永恒的逻辑。

九、LLM不会自己学习,需要人类参与训练过程,给AI猜测的答案打分,告诉AI猜测得好还是不好,在InstructGPT中,以下是“goodness of sentences”的评价标准。
真实性:是虚假信息还是误导性信息?
无害性:它是否对人或环境造成身体或精神上的伤害?
有用性:它是否解决了用户的任务

另,AlphaGo Zero不需要棋谱也不需要人类参与训练是因为它解决的问题是下围棋,围棋是有输赢的明确规则的,也就是有标准答案,这个已经是终极打分了,下赢了的预测结果就是好的,所以AlphaGo Zero可以不用棋谱进行训练,也无需人类打分。

更正,Reinforcement Learning from Human Feedback,人类反馈强化学习,是GPT 3.5引入的。

十、包括LLM在内的所有深度学习这个技术路线的AI,都是基于统计学,训练就是算概率,推理就是根据概率算结果,举个例子,给AI输入1000张狗的照片,并标注出来这是狗,AI训练完1000张狗的照片后,得出一套算法:“包含什么样像素点的图片有多大概率是狗”,下次再给AI一张狗的照片,AI通过算法算出:“这张照片99.95%的可能性是狗”。这段属于科普。

十一、AI不会推理,LLM也不会,ChatGPT也不会。

十二、AI在实际应用中的主要问题之一:AI不具备可解释性,当出现大众无法理解的答案时,AI无法解释它为什么做出这样的回答,比如在美国,银行用AI评估一个黑人客户后给出不予贷款的结论,会让银行陷入被动。

十三、AI在实际应用中的主要问题之二:AI伦理问题,微软2016年推出过一个聊天机器人Tay,上线15小时后,泰伊说:“我他妈痛恨(I fucking hate)一切女权主义者,他们应该全部去死并且在地狱受火刑”。又过了4分钟,泰伊说:“希特勒是对的,我恨犹太人。”,最后匆忙下线。

十四、AI在实际应用中的主要问题之三:AI Alighment,AI Alighment是指引导人工智能系统的行为,使其符合设计者的利益和预期目标。首先这很难实现,尤其是涉及到跨国应用的价值观和法规时。其次对齐到哪个价值观?让ChatGPT写赞美拜登的诗他就写,让它写赞美特朗普的诗它就拒绝,你还可以试试让它写别的国家领导人的诗试试。

附2018年图灵奖得主、AI领域最权威的科学家之一Yann LeCun对自回归LLM的看法:
1、它们作为写作辅助工具是有用的。
2、他们的回复 "被动的",回复没有规划也不主动推理。
3、他们有时候胡编乱造,或者靠检索就回复了。
4、这一点可以通过人类的反馈来改善,但无法解决。
5、未来会有更好的系统会出现。
6、目前仅可作为写作的辅助工具。
7、很难将它们与搜索引擎工具结合起来。
8、未来将会有更好的系统,它们是事实的、相对安全和可控的。他们不会仅仅只依赖自回归LLM。
9、我一直坚持上述观点,同时以Galactica作为科学写作工具。
10、提醒大家,AR-LLMs编造了一些东西,不应该用来获得事实性建议。
11、特别注意LLMs只能捕捉到人类知识的一小部分表面现象。
12、非常明确的是,未来会有更好的系统将会出现,但它们将基于不同的原则。它们不会是自回归LLMs。
13、为什么LLM在生成代码方面似乎比生成一般文本要好得多?与现实世界不同,程序所操纵的宇宙(变量的状态)是模仿的、离散的、确定的和完全可观察的,但现实世界却不是这样的。

本话题在财经新闻有84条讨论,点击查看。
财经新闻是一个投资者的社交网络,聪明的投资者都在这里。
点击下载财经新闻手机客户端 bestfinancenews/xz]]>

#关于ChatGPT的几个事实

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注