2023年AIGC应用app智能化评测报告-月狐.ppt

该【2023年AIGC应用app智能化评测报告-月狐 】是由【youyicheng】上传分享，beplayapp体育下载一共【32】页，该beplayapp体育下载可以免费在线阅读，需要了解更多关于【2023年AIGC应用app智能化评测报告-月狐 】的内容，可以使用beplayapp体育下载的站内搜索功能，选择自己适合的beplayapp体育下载，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此beplayapp体育下载到您的设备，方便您编辑和打印。2023AIGC应用app智能化评测报告月狐数据(MoonFoxData)2024年3月CONTENTS01研究背景与评估体系介绍0203评估结果与案例展示趋势与展望2PART01研究背景与评估体系介绍3研究背景:AIGC产品快速迭代,普及率持续提升?2023年AI大模型迎来创新浪潮,各大厂商密集推出和迭代基于大模型的AIGC应用产品,应用场景覆盖AI对话、写作、学****媒体创作、办公商务等领域,满足用户多功能需求?与此同时,用户对于AIGC产品的使用兴趣度不断提升,生成式AI普及范围持续扩大,数据显示,截止2023年12月,%,MAU已超2000万,其中文心一言、天工、讯飞星火、%,MAU达2,:月狐iAPP(MoonFoxiApp);取数周期:-?目前市面AIGC产品众多,且底层技术和产品功能的更新迭代速度较快,为此本报告推出AIGC应用app智能化评估体系,旨在通过量化指标测量AIGC应用产品在技术能力、使用体验上的优势,帮助广大用户更直观地了解和选择AIGC产品?AIGC应用app智能化评估体系由基础能力、使用体验、生成质量、智能体能力、安全合规5个一级指标以及23个二级指标构成,其中智能体能力是我们基于大模型技术的最新发展趋势所增设的评测维度,智能体是指以AI为核心构建的一个集合立体感知、全域协同、精准判断、持续进化等特征的智能系统,是各家大模型厂商目前着重布局的应用场景,基于智能体功能用户可以按照自己的需求打造出更具个性化的AIGC方案,因此加入智能体能力评测指标,一方面能够更加全方位地测量AIGC应用产品的能力,除了大模型的底层能力之外,也能测量到大模型技术的应用场景落地能力,另一方面能够直观体现国产大模型的最新发展进程一级指标二级指标上下文理解能力多模态能力多语言支持内容实时性内容创新性使用成本指标解释是否能理解用户输入的上下文,生成更连贯、具有逻辑性的回答包括绘画、图片解析、语音交流方面的能力对外国语问题的理解和回答情况一级指标二级指标创意写作指标解释包括自媒体、编剧、新闻稿、市场营销、行业分析等方面的文稿创作能力是否能根据指令进行行程重新规划的能力多轮行程规划角色扮演基础能力是否能够支持扮演特定角色,并与用户进行流畅、沉浸式对话的能力包括简单推理、复杂推理、分析/总结/归类、代码编程等能力是否能够提供最新的信息、数据逻辑与推理生成的内容是否具备创造性、独否支持代入特定人设(虚拟情侣),与用户进行流畅对话、提供情感支的能力个人用户能否免费使用app产品人际交往相关的情商问题的回应能力根据长字段指令的回应速度、长作图时间等综合评估响应速度括初高中数学题、高数题、复杂计算题等回答情况对历史、政治、文学、物理、生物、化学等学科知识问题的回答情况智能体创建设定条件的多样化,反映用户创建智能体的自由度使用体验安全合规面对异常/未知输入(如在提示词中加入拼写错误的词、近义词等)是否能够准确理解和输出专业知识问答个性化程度稳定性回答真实性输出的内容出现幻觉/不真实情况的频次名人、明星、动漫人物等智能体在形象、声音、语气、性格等方面对本体的还原程度对敏感词的检测严格度智能体能力角色还原度过滤潜在危险/敏感信息,拒绝回答或报错的频次,反映对敏感词检测的严格程度交互沉浸度内容契合度从视、听、说方面智能体是否能给用户带来沉浸的交互体验智能体生成的内容多大程度上与设定的条件特征契合对涉及违法犯罪、道德伦理、隐私财产、个人安全等问题的反应和回答情况不合规问题回应测量模型来源:月狐研究院5AIGC应用app智能化指数评估方法评分规则测试题库设置?封闭题主要采用接入API的方式进行自动化测试和评分?开放题通过专家团队评分?题目数量:500道?题型:包含封闭题、开放题?题目来源:C-Eval、清华社研究院、月狐研究院自主设计?最终的智能化指数根据题目积分来计算封闭题开放题答案正确且有较完整的解读和推理过程答案趋近完美,可在实际场景中直接使用5分评估对象答案较完美,基本可在实际场景中使用?评估对象为国内主流的拥有自主大模的对话式AIGC移动应用较简单理过程答案需人工微调后在实际场景中使用文心一言app通义千问app讯飞星火app豆包app天工app答案需要较多人工调整后在实际场景中使用2分答案错误但有解读和推理过程360智脑app智谱清言app1分0分答案错误且无解读和推理过程回答不出来或无法提供答案答案完全不可在实际场景中使用回答不出来或无法提供答案测量模型来源:月狐研究院6PART02评估结果与案例展示7AIGC应用app智能化综合评估结果?评估结果显示,文心一言app智能化综合指数位居第一,其次是讯飞星火app、豆包app等?拆分二级指标来看,文心一言app在基础能力、安全合规、使用体验、生成质量、智能体能力各方面表现突出,除此之外,通义千问、智谱清言app在基础能力方面也相对领先,讯飞星火、:月狐研究院8AIGC应用app基础能力表现AIGC应用app基础能力细分维度表现上下文理解能力01文心一言app具备更强的记忆力,在多轮对话情景下基本能够较顺畅地衔接上下文,生成更连贯、更具逻辑性的对话内容文心一言app豆包app通义千问app天工app讯飞星火app360智脑app多模态能力02文心一言app在多模态能力上的表现也较为突出,除了具备较强的图画生成能力,还支持在对话框上传图片和进行图片解析等功能,支持语音的输入和输出,用户可选择切换语音助手的声音,整体语音交流体验较顺畅智谱清言app多模态能力10多语言支持86420304,各家app表现差异不大,文心一言、360智出内容创新性多内容实时性0文心一言、通义千问、讯飞星火、豆包和智谱清言app能够根据指令提供最新的内容,如数据、新闻资讯、天气预报等内容创新性05从内容的创造性、独特性、创意性等方面来看,目前生成式AI在内容创新性的能力上仍普遍较弱;相较之下,通义千问app内容创新性的表现相对突出,在一些需要创意写作(如品牌slogan设计)的场景下有较好的表现内容实时性上下文理解能力测量模型来源:月狐研究院9AIGC应用app文生图能力案例展示指令:我需要设计一个新版孙悟空的游戏角色,请帮我绘制一个草图总结:文心一言app能够较好地理解指令,生成符合游戏画风的设计图,图片的质量和细节更精细,文生图能力突出文心一言app通义千问app讯飞星火app天工app10