《人工智能大模型体验报告2.0》发布,这几家性能排名前三!

2023-08-14 11:07:26     来源:

ChatGPT 崛起引发新一轮生成式AI热潮,国内科技企业纷纷布局。据不完全统计,截至目前,国内大模型数量已达上百个。在这些大模型中,谁的表现最好,智能性最高,用户体验最强?8月12日,新华社研究院中国企业发展研究中心发布的《人工智能大模型体验报告2.0》(以下简称报告)给出了答案。

报告显示,与2023年6月相比,当前中国大模型产品进步显著。

具体来看,讯飞星火在工作提效方面优势明显,百度文心一言基础能力表现出色,商汤商量则在情商方面表现优秀。

落实到基础能力、智商能力、情商能力和工具提效四大能力综合得分上,当前国内各主流大模型中,排名前五的分别为科大讯飞星火、百度文心一言、商汤商量、智谱ChatGLM和360智脑。

其中科大讯飞得分1013,仅比人类答案落后1分;百度文心一言1010分,商汤商量983分,智谱ChatGLM和360智脑分别为983分、951分。

据了解,此次测评为保证结果的客观公平性,无论是在题目设计上、对标Benchmark(人类)上,还是打分权重、专家测评团队上,相对于6月份的《人工智能大模型体验报告》,均进行了全面升级。

其中,在题目设计方面,测评题目由300道扩展至500道,并进一步完善了题目分类;

在对标Benchmark方面,本次测评将接受过高等教育的人类作为对照,来考评大模型真实能力;

在打分标准上,本次测评根据对产业、生活的实际价值,对基础能力、智商能力、情商能力和工具提效四大测评维度进行了权重设计;

在测评团队方面,本次测评特邀北京大学文化与传播研究所及其他产界、学界专家全程参与。

此外,本次测评还设置了用户体验项目,抓取了7月31日—8月4日数据,通过人机互动提问等形式,对国内主流大模型进行使用体验评测,旨在为科技企业调整努力方向提供参考。

报告显示,在智商评估方面,人类在智商方面仍然具有明显优势。

课题组分别从常识知识(20%)、逻辑能力(50%)和专业知识(30%)方面对科技企业大模型进行考量。

结果显示,讯飞星火、智谱AI-ChatGLM表现突出,百度文心一言、昆仑万维天工表现优良。

在工作效率提升方面,课题组重点在工具提效(50%)和生成创新(50%)方面进行考量。

结果显示,讯飞星火表现最为抢眼,百度文心一言、商汤商量、智谱AI-ChatGLM表现优良。

在情商方面,AI与人类之间的差距最为明显。人类在情绪理解和处理方面通常具有更强的优势,和更灵活的处理能力。

通过对处理日常事项(35%)、一语双关(30%)、人际关系(35%)问题进行分析发现,科技企业大模型中,商汤商量表现亮眼,百度文心一言、澜舟科技Mchat、智谱AI-ChatGLM及360智脑均表现优良。

标签:

猜你喜欢

水飞蓟提取物新团标发布 选优质护肝产品有新标准
引领细胞基因治疗领域创新 海南海药参股公司再获荣誉
品质为基石 透明为信心,植物医生透明化自有工厂彰显品牌实力
中华财险四川分公司“同赏金秋月,共话家国情”中秋、国庆“双节”客户服务活动圆满结束
时光有信 筑梦远行|中信银行出国金融25周年暨2023出国留学蓝皮书全国首发会
中国番茄看新疆!锅圈食品溯源之一颗番茄的成长日记
华贵人寿小课堂:定期寿险消费者画像
【第134届广交会前瞻】 小家电龙头眼中的外贸新动能
集齐四大评价机构五星认证有多难?这6只债基做到了!
华发股份:定增方案获证监会通过 财务稳健具备长期经营韧性
莲花健康董事长李厚文:进军智能算力,不是短期要讲的故事,而是长期要做的实事
错开十一高峰来旅行,金标牛烟火气餐厅榜助您寻味深圳
印尼禁食犬猫新举措 荣获第九届金犬奖
首届窖主节深圳收官,众咖亮相,持续“浓烈”
长晶科技获批建设江苏省功率器件工程技术研究中心,践行半导体产业自主可控战略
博涵财经董事长王雪靖受聘为粤港澳大湾区上市公司联合会ESG委员会主席
全国首部!《校园手卫生健康蓝皮书》正式发布
肯德基食物驿站覆盖超百城,世界粮食日派送两万份余量食物礼包
与锅圈食汇,一起回味小时候的番茄味
美酒携手建筑对话城市与未来 国窖1573助阵马岩松“流动的大地”个展
赤水上游金沙小酱,高颜值小酒惊喜亮相
全能唱作型歌手方楝首支单曲《枫落》正式上线发布
华发股份获控股股东增持,前9月销售额已破千亿
凝聚青年力量 共话十年硕果 中国日报在江苏太仓举办“一带一路” 十周年纪念系列活动
植物医生透明工厂:智能制造引领国妆自主生产新潮流
“唯远唯长”记青绿和美四川岷江行启动仪式暨松潘站活动启幕
年度“王选奖”项目奖公布 蜜度联袂中国工商出版社荣获三等奖
宝宝树萌宝运动会圆满落幕 萌宝们过足“亚运瘾”
守护百姓“钱袋子” 中国银联:将“反诈拒赌”带入校园
银联联合复旦举办“反诈拒赌校园行”活动 助力大学生树立反诈拒赌意识