L5

浙大、腾讯团队发布科学LLM大规模评测基准，国产大模型表现亮眼

编辑 | ScienceAI随着大型语言模型（LLMs）在科学研究领域的广泛应用，评估这些模型在理解和应用科学知识方面的能力变得尤为重要，但是科学领域全面评估 LLMs 科学知识的高级基准非常缺乏。近日，来自浙江大学 NLP 实验室与腾讯 AI Lab 的研究者构建了 SciKnowEval 评测基准，定义了 L1 到 L5 不同层级的科学智能，共包含化学和生物领域 50,000 个不同层次的科学评测题目，并利用该数据集用于对 20 个开源和闭源 LLMs 进行基准测试。其中，拥有千亿至万亿参数的通用大语言模型如

7/2/2024 2:25:00 PM

ScienceAI

资讯热榜

上海AI实验室开源InternVL3系列多模态大型语言模型 Haisnap横空出世，小白用户也能轻松打造AI应用「交交」媲美GPT-4o！上海交大推出口语对话情感大模型，首个纯学术界自研！ OpenAI开源超Agent:Codex CLI,五小时内破 5000 颗星 ChatGPT重磅更新：新增图像库功能，可查看自己用GPT生成的所有图片 OPPO 小布助手网页版上线，接入满血版 DeepSeek 本地部署DeepSeek+DiFy平台构建智能体应用 kimi开源视觉语言模型 Kimi-VL 与 Kimi-VL-Thinking，多项基准超越 GPT-4o

标签云

人工智能 OpenAI AIGC AI ChatGPT DeepSeek AI绘画数据机器人谷歌模型大模型 Midjourney 智能用户学习开源 GPT 微软 Meta AI创作图像技术论文 Stable Diffusion 马斯克 Gemini 算法蛋白质生成式芯片代码英伟达腾讯神经网络计算研究 Sora AI for Science 3D Anthropic AI设计机器学习 GPU 开发者场景华为预测伟达 Transformer 百度苹果人形机器人深度学习 AI视频模态字节跳动 xAI 驾驶文本搜索大语言模型 Claude Copilot 具身智能神器推荐 LLaMA 算力安全应用视频生成科技视觉亚马逊干货合集 2024 AGI 特斯拉训练大型语言模型