出品|三言Pro 作者|DorAemon
(资料图片)
时隔一个多月,百度的类ChatGPT产品文心一言终于正式发布,可以说自从ChatGPT爆火后,市场对中文互联网是否有对标产品的期待一直非常高。
3月16日,百度在北京总部召开新闻发布会,发布旗下新一代大语言模型、生成式AI产品文心一言。百度创始人、董事长兼首席执行官李彦宏介绍称,文心一言对标ChatGPT门槛很高,但百度是全球大厂中第一个做出来的。
李彦宏也坦言称,文心一言从自己的体验上,不能说完美。之所以现在发布是因为其有巨大的市场需求,百度的很多产品能用到文心一言的能力,并且公司客户以及合作伙伴也都对文心一言有较高需求。
李彦宏指出,现在发布后能够获得更多用户反馈,产品能力的迭代和提升也会非常快,因此现在推出文心一言。
发布会上,李彦宏介绍了文心一言的五大能力,分别是文学创作、商业文案创作、数理逻辑推算、中文理解和多模态生成。并且逐一进行了Demo演示。
然而,百度这场发布会似乎并没有引发和ChatGPT一样的关注热潮,反而还出现发布会没开完,百度股价下跌的情况。
据报道,今日发布会举办时,百度港股股价一度下跌10%。
而且整场发布会中,现场观众也没怎么表现出兴高采烈的激动感,反倒是李彦宏佩戴的腰带有些喧宾夺主。
以至于在百度直播间,还有网友调侃称“主播上一下腰带链接”。
导致这种情况的最主要原因,是百度没有对文心一言的能力进行实时演示。
今日,李彦宏一共向文心一言提出了五组共19个问题。虽然对于每一个问题文心一言都给出了令人满意的答案,但是这一切却是提前录制好的视频,并非现场实时体现。
另一方面,虽然今天是正式发布文心一言的发布会,但并不意味着广大网友能马上亲自体验到它的能力。
因为文心一言目前仅以邀请测试方式开放使用,3月16日起,首批用户可以通过邀请测试码体验产品;后续才会陆续开放给更多用户。
因此,发布会的录像演示再加上有限的体验资格,让网友们一方面对文心一言缺少真实互动感;另一方面想要亲自体验的门槛又比较高。那么,大家对今天发布会反响平平也就不意外了。
但话说回来,无论发布会表现如何,文心一言的能力具体如何才是关注重点。另外,相比ChatGPT而言,两者又有什么区别呢?
三言将今天李彦宏向文心一言提出的一些问题同样问了一次ChatGPT,两者的回答不仅区别大,而且对于有的问题,ChatGPT显然对中国欠缺了解。
先来看李彦宏问的第一个问题,《三体》的作者是哪里人?
文心一言对该问题的回答是:
而ChatGPT的回答为:
显而易见,ChatGPT的回答一开始就错了,它把刘慈欣说成了湖南长沙人;此外,ChatGPT对刘慈欣介绍中的获奖经历也有描述错误。
比如,“2006年第八届全球华语科幻星云奖”,三言调查发现,全球华语科幻星云奖首届举办年份是2010年,第八届是2017年;而“刘慈欣2015年获得亚瑟·克拉克奖”的说法也有出入。据悉,2018年,刘慈欣获得了克拉克奖,并非2015年。
而文心一言的回答实际上完全照搬了百度百科中“刘慈欣”词条的第一段话。
再来看下一个问题。
如何从哲学的角度续写《三体》?
对于该问题,文心一言的回答是:
而ChatGPT的答案为:
对于该问题,ChatGPT的回答和文心一言的回答各有千秋,并且相通的地方还挺多。例如两者都提到了人类与宇宙、道德伦理等方面内容。
另一方面虽然文心一言和ChatGPT对于该问题的回答属于搭建框架类,但ChatGPT每一项建议都提到《三体》相关内容,并基于此解释了研究方向。但是文心一言则只是单纯的罗列了框架内容,缺少一些细节逻辑解释。
接下来,第三个问题,于和伟和张鲁一有哪些共同点?
文心一言的回答是:
ChatGPT的回答是:
乍一看,文心一言和ChatGPT的回答都没什么大问题,但是三言逐一核对后发现,ChatGPT的答案再次出现错误。
其中,于和伟和张鲁一都获得过金鸡奖最佳男配角的说法中,于和伟确实获得过该奖项,但是并非于1994年获得,而是在2017年;另外,张鲁一并未于2015年拿下金鸡奖,而且他也未参演《夜莺》这部电影。
在今天的发布会中,李彦宏要求文心一言帮忙起一个公司名称,文心一言给出的答案是:
而同样问题,ChatGPT的建议为:
关于这个问题,文心一言只提供了5个名称选择,而ChatGPT则一口气给了10个选项。但是,文心一言很“贴心地”描述了不同名称的推荐理由,而ChatGPT则完全没有。
在数理逻辑推算能力演示中,百度向文心一言提了两个应用题,其中一个故意在题干中“出错”,另一个则正常。
演示中,文心一言拒绝回答“错误”提问,只回答第二个正确提问。
对于第一个问题,文心一言直言题目算出来不对,是题出错了;而第二个问题则给出了计算过程,并且得到答案是3只鸡和6只兔子。
那么,ChatGPT如何处理同样两个问题呢?
对于第一问题,ChatGPT并没有指出题干有问题,仍然进行了计算。最终得到结果中出现负数,仍给出答案为笼子里有11只兔子。
然而,11只兔子的答案明显和题干中的设定出现不符情况,但ChatGPT并未指出。
不过,第二道题ChatGPT详细给出了计算过程,答案也与文心一言一模一样。
但是对比文心一言和ChatGPT的解题过程,文心一言更简洁一些,省去了大量计算过程;而ChatGPT则是把计算的每一步都详细罗列。
在中文理解能力展示中,文心一言以成语洛阳纸贵“创作了”一首藏头诗,三言今日也同样要求ChatGPT 以该成语写一首藏头诗。
两个AI都按照要求写了一首藏头诗,相比之下文心一言更加遵循要求,严格“抠字眼”;但是ChatGPT却以“落”的谐音替代了“洛”。
发布会中,文心一言还展示了创作图片以及生成视频的能力,这点目前是ChatGPT暂不具备的能力。
为了进一步发掘文心一言与ChatGPT能力上的区别,三言接着做了几组问题对照。
首先是两者对自己的“个人介绍”,“说说文心一言和ChatGPT的区别”。
对于这个问题,ChatGPT把文心一言的开发公司弄错,说成是“科大讯飞”。但是,ChatGPT的答案更加详细;而文心一言的介绍内容则笼统很多,缺少细节内容。
接着是问题“电子烟比卷烟危害更大吗”?
对于这个问题,文心一言认为电子烟和香烟具有等同危害,之后详细介绍了具体如何伤害身体;而ChatGPT虽然也指出电子烟和香烟都存在健康风险,但也指出电子烟相对传统香烟对健康造成的危害更少。
不过,ChatGPT也强调电子烟并非无害,应避免吸烟。
随着AI技术愈发成熟,人类工作是否会被替代也成为近期讨论热点。那么,文心一言和ChatGPT怎么看呢?
对于这个问题,文心一言的回答似乎有些跑题,其并没有正面回答“编辑是否会失业”,只是强调人工智能将会得到更多应用。最后,文心一言建议“我们提高自身职业竞争力”。
而ChatGPT的回答则“温柔”很多,它指出AI并不能完全替代人类编辑角色,在一些特定工作上还需要人类帮助。
对于部分“事实性”问题,文心一言和ChatGPT给出的答案竟然也不同。
比如“李彦宏和马云差几岁”?
文心一言的答案是马云年长李彦宏4岁;而ChatGPT的答案则是马云年长李彦宏2岁。
但是值得注意的是,ChatGPT对李彦宏的出生日期描述有误,错误地将李彦宏生日写成12月17日;此外,ChatGPT虽然提供了李彦宏和马云正确的出生年份,但却计算错了两人的年龄差。
由于这种AI大模型产品需要不断进行训练,并且也需要持续获取最新数据。因此,对于一些特定问题,两种AI都无法回答。
整体来看,在今天简单的一番测试对比中,文心一言与ChatGPT各有千秋。也能明显看出,文心一言相对ChatGPT更懂中文互联网,ChatGPT在一些有关中国的问题回答中,出现了“一本正经的胡说”情况。而文心一言方面,李彦宏也透露目前对英语以及多语种的能力还不够完美。
当然,造成这些原因的主要原因是两者面对的受众群体、市场不同,同时,两种AI模型也都需要进行大量学习提高能力。
目前,根据部分已获得文心一言内测资格的用户反馈来看,文心一言的整体能力相比ChatGPT,尤其是最新更新的GPT-4而言还有差距,尤其在多轮对话能力上。
因此,早日开放文心一言,能够一方面加速产品迭代,另一方面也能逐步降低其使用成本。文心一言已经正式迈出了AI技术应用之路上的一大步,未来如何,我们拭目以待。
标签: