北京时间5月14日凌晨,美国人工智能研究公司OpenAI在线上举办了“春季更新”活动,发布了新旗舰模型“GPT-4o”,可以实时对音频、视觉和文本进行推理,包括视觉、联网、记忆、执行代码以及GPT Store等功能,将对所有用户免费开放。
非常巧合的是,5月13日晚间,腾讯研究院发布《向AI而行,共筑新质生产力——行业大模型调研报告》,成为业内首份行业大模型调研报告。
一边是通用大模型的提质升级,另一边是行业大模型的快速崛起。两者属于什么关系,对于产业提质增效又有什么帮助呢?
大模型的参数规模远大于传统深度学习模型。传统模型参数量通常在数万至数亿之间,大模型的参数量则至少在亿级,并已发展到过万亿级的规模。如 OpenAl 的 GPT-1 到 GPT-3,参数量从 1.1 亿大幅拉升到1750亿,GPT-4非官方估计约达1.8万亿。
大模型能够有效处理多种未见过的数据或新任务。如 OpenAl 曾用GPT-4参加了多种人类基准考试,结果显示其在多项考试中成绩都超过了大部分人类(80%以上),包括法学、经济学、历史、数学、阅读和写作等。
大模型可以实现多种模态数据的高效处理。比如 OpenAl的 Sora模型一经推出便掀起了全球多模态大模型的发展新热潮。
通用大模型存在“不可能三角”问题,即在专业性、泛化性和经济性三方面很难兼得。
同时,在具体行业中,很多机构从自身需求出发,采用大模型还有两个关键考量因素:竞争和安全。
为有效提升竞争力,机构会尽力寻找性能最佳的模型,并利用行业专业数据或私有数据的独特资源,对模型进行定制调整和优化。目前GPT-4等市场头部通用大模型多为闭源,通过网页、APP应用服务大众用户或以API标准化调用的方式服务开发者,可定制化调整的空间较小。
另一方面,从安全角度考虑,大模型不仅涉及机构私有数据的调用,还会与机构的业务、流程结合(如 copilot 方式),这使得大模型使用越深,越需要重视安全可控。通用大模型通常基于公有云提供服务,会造成机构对私有数据、敏感数据安全的担忧。
由此可见,通用大模型与行业/机构具体需求间存在差距,行业大模型成为弥合技术与需求间差距的必然产物,能有效支持各行各业加速落地大模型应用。
行业大模型是与通用大模型相对的概念。通用大模型侧重发展通识能力,行业大型则侧重发展专业能力。从行业实践看,行业大模型不仅指开发一个行业专用的模型本身,更多还包括基于通用大模型调整和开发的行业应用。因此,广义上行业大模型可以归纳为:利用大模型技术,针对特定数据和任务进行训练或优化,形成具备专用知识与能力的大模型及应用。
行业大模型大多在通用大模型基础上构建。通用大模型具备丰富的知识和强大的泛化能力,不仅能为行业大模型提供广泛的知识基础并提升交互体验,还能显著节约从头训练模型所需的大量数据和算力资源,大幅提升行业大模型开发及应用的效率和效果。
通过对通用大模型进行提示工程、检索增强生成、精调、继续预训练/后训练等方式,模型能够更好地处理特定数据或任务,从而生成行业大模型的版本(模型有变)或具备行业大模型的功能(模型不变)。今天市场上很多行业大模型,如金融、法律、教育、传媒、文旅等,大多是在Llama、SD、GLM、Baichuan 等国内外主流开源大模型基础上构建。
调研发现,多个行业都已经开始探索大模型技术在各生产环节的应用落地,具体涉及研发/设计、生产/制造、市场/销售、客户服务、经营管理等环节。但因为行业不同,进展有快有慢。
整体而言,影响行业应用大模型速度有两个关键因素:一是数据可得性,高质量数据越容易获取、进展越快,如数字原生行业;二是需求适配度,行业的核心业务与大模型创意生成和交互能力越匹配、进展越快,如生产性服务业。
深入行业环节纵向来看,当前大模型技术渗透呈现出类似产业微笑曲线的特征,即:在产业链高附加价值的两端(研发/设计和营销/服务),大模型应用落地较快;而在低附加价值的中部(生产、组装等),大模型应用进程较慢。
2024年政府工作报告明确提出星空体育下载,要“深化大数据、人工智能等研发应用,开展‘人工智能 +’行动,打造具有国际竞争力的数字产业集群”。
在国家推进新质生产力的背景下,人工智能已经成为经济发展的核心动力之一。未来,国家将加大力度推进通用大模型和行业大模型应用,引导更多行业领域开放应用场景,加强典型应用落地的示范,让人工智能更好赋能千行百业。