白皮书聚焦于文生图、图生文、图文理解等各类应用场景,深入分析多模态大模型的应用需求,系统总结行业典型评测体系
【千问百科解读】
7月6日,在2024世界人工智能大会期间,中国移动研究院联合北京邮电大学、北京市大数据中心、工信部赛迪研究院、国家电网、厦门大学、数据堂公司、浪潮集团和科大讯飞等头部企业、重点高校和科研机构共同发布《弈衡多模态大模型评测体系白皮书》。
白皮书聚焦于文生图、图生文、图文理解等各类应用场景,深入分析多模态大模型的应用需求,系统总结行业典型评测体系,并创新地提出弈衡多模态大模型评测体系,助力大模型技术与行业应用的深度融合。
相比于语言类大模型,多模态大模型具备对文本、图像、视频和音频等数据进行综合处理的能力,在生产生活领域中具有广泛的应用前景。
同时,多模态大模型评测面临评测数据更多样、评测任务更丰富、评测方式更复杂、评测成本更昂贵等挑战。
如何应对上述挑战,构建全面、客观的多模态大模型评测体系,成为业界关注的热点问题。
中国移动技术能力评测中心与业界权威机构、头部企业深入合作,攻关多模态大模型评测难点技术,完成弈衡多模态大模型评测体系构建,并编制白皮书。
该白皮书主要包括以下四方面内容:一是总结梳理多模态大模型的应用需求、评测方式、评测维度和评测指标,将评测需求划分为识别、理解、创作、推理四种任务;二是广泛调研业界多模态大模型评测技术和评测体系,从评测方式、评测维度和评测指标等方面进行分析总结;三是提出弈衡多模态大模型2-4-6评测框架,针对图文双模态大模型,详细阐述基础任务和应用任务两大评测场景,评测指标、评测数据等四大评测要素,以及功能性、准确性、交互性、安全性等六大评测维度;四是针对多模态大模型演进趋势,展望评测技术重点方向。
未来,中国移动将持续跟进多模态大模型发展,不断优化弈衡多模态大模型评测体系,与业界合作伙伴一道,共同打造评测产业标准化生态,推动多模态大模型产业成熟和落地应用,为AI+赋能千行百业贡献力量。
声明:本文内容仅代表作者个人观点,与本站立场无关。
如有内容侵犯您的合法权益,请及时与我们联系,我们将第一时间安排处理,本页面内容仅为信息发布,不作为任何招生依据,亦不构成任何报考建议。
如果您需要报名,请直接与学校联系,谨防受骗。