智源研究院推出FlagEval“天秤”大模型评测体系 当前快播

2023-06-09 14:23:19 来源:站长之家


(资料图)

编程客栈() 6月9日android消息:在今日的2023北京智源大会上,智源研究院宣布推出FlagEval(天秤)编程大语言模型评测体系。该体系从“能力、任务、指标”三维评测角度出发,结合超过600个维度对大模型进行全面测评。

据悉,天秤大模型的任务维度目前包含22个主观和客观评测数据集,共计超过84433道评测题目。

智源研究php院院长黄铁军指出,大模型至少需要具备三个特点。第一,规模要大,需要达到百亿参数级别;第二,涌现性,能够产生预料之外的新能力;第三,通用性,不限于专门问题或者领域。

关键词:

为你推荐

推荐内容