阿里云参与起草行业首个法律大模型评估指标体系
来源:北京商报
2023-08-26 11:07:32
【资料图】
北京商报讯(记者 杨月涵)8月22日,阿里云官方公众号发布消息称,日前,由中国工程院院刊《Engineering》、中国人工智能学会、中国工程院院刊信息与电子工程领域分刊《FITEE》联合主办的Engineering大讲堂暨“智行中国”第五期系列论坛在浙江大学举行,本次论坛公布了一系列大模型相关进展。
在本次论坛上,智慧司法技术总师系统、浙江大学、上海交通大学与阿里云等联合发布了行业首个《法律大模型评估指标和测评方法(征求意见稿)》,旨在推动法律大模型的研发、评测和应用的规范化。
作为行业首个《法律大模型评估指标和测评方法(征求意见稿)》,其涵盖法律大模型能力体系、评估指标、测评方法、典型应用场景等内容,适用于法律大模型系统测试的设计和实施等任务场景。
在评测方法内容中,针对特定任务,意见稿提出需从功能、性能、安全、质量四个方面共12项指标,为法律大模型测评提供各项指标的选择、评分和计算方法,最终获得该项任务的性能测评结果。