2023AIGC应用APP智能化评测报告

郭太侠9个月前 (03-16)AIGC231

随着2023年AI大模型的创新浪潮,各大厂商纷纷加速推出和迭代基于大模型的AIGC应用产品,涵盖了AI对话、写作、学习、媒体创作、办公商务等领域,满足了用户多功能需求。数据显示,截止2023年12月,生成式AI移动应用全网安装渗透率达6.7%,MAU已超2000万,其中文心一言、天工、讯飞星火、豆包等主流app产品用户规模呈现快速增长态势。

针对AIGC应用app的快速发展和其技术和使用体验等多方面特点,报告特别推出了AIGC应用app智能化评估体系。该评估体系由基础能力、使用体验、生成质量、智能体能力、安全合规五大一级指标以及23个二级指标构成,其中智能体能力是针对大模型技术的最新发展趋势所增设的评测维度。通过这一评估体系,可以帮助广大用户更直观地了解和选择AIGC产品,也能够体现国产大模型的最新发展进程。

评估结果显示,文心一言智能化综合指数位居第一,然后是讯飞星火、豆包等。细分二级指标来看,文心一言在基础能力、安全合规、使用体验、生成质量、智能体能力各方面表现突出。通义千问、智谱清言在基础能力方面也相对领先,而讯飞星火、天工在安全合规方面也展现出较明显的优势。

在实际应用案例展示中,各家app在不同类型的内容生成上各有所优势。文心一言在逻辑推理、多轮行程规划、情感对话、角色扮演等场景下生成的内容质量更好;通义千问更擅长创意写作,在多轮行程规划场景上也有较好的表现;讯飞星火和360智脑则在数学计算上表现突出;智谱清言在专业知识问答、情商问答场景上获得最高分,豆包、360智脑在专业知识问答上的表现也相对较强。

来源:月狐数据

本报告内容节选如下:


1.png