LooGLE
无一大模型及格!北大 / 通研院提出超难基准 LooGLE,专门评估长文本理解生成
在长文本理解能力这块,竟然没有一个大模型及格!北大联合北京通用人工智能研究院提出了一个新基准数据集:LooGLE,专门用于测试和评估大语言模型(LLMs)长上下文理解能力。该数据集既能够评估 LLMs 对长文本的处理和检索能力,又可以评估其对文本长程依赖的建模和理解能力。结果不评不知道,一评估发现这些模型在复杂的长依赖任务中的多信息检索、时间重排序、计算、理解推理能力表现均不乐观。比如像 Claude3-200k,GPT4-32k、GPT4-8k、GPT3.5-turbo-6k、LlamaIndex 这种商业模型,
8/7/2024 12:46:42 PM
汪淼
- 1
资讯热榜
DeepSeek R1 简易指南:架构、本地部署和硬件要求
DeepSeek 全面指南:95% 的人都不知道的九个技巧
DeepSeek开源多模态模型Janus-Pro的ComfyUI使用教程,文中附模型和工作流下载
DeepSeek + IDEA!辅助编程太强了!
冲击DeepSeek R1,谷歌发布新一代Gemini全型号刷榜,编程、物理模拟能力炸裂
DeepSeek V3 和 R1 模型完成海光 DCU 国产化适配并正式上线
DeepSeek日活用户数突破2000万,增长势头远超ChatGPT
不到140块!李飞飞团队超低成本复刻DeepSeek R1推理!16张H100只训练了26分钟,与R1训练方法不同!
标签云
人工智能
AIGC
OpenAI
AI绘画
ChatGPT
机器人
数据
谷歌
智能
学习
大模型
Midjourney
GPT
用户
AI创作
微软
图像
开源
Meta
技术
论文
Stable Diffusion
生成式
算法
蛋白质
AI
马斯克
芯片
DeepSeek
Gemini
计算
神经网络
代码
AI设计
研究
Sora
腾讯
3D
开发者
场景
GPU
伟达
预测
英伟达
模态
华为
机器学习
Transformer
文本
驾驶
神器推荐
AI视频
深度学习
AI for Science
干货合集
搜索
LLaMA
算力
苹果
视频生成
2024
科技
百度
Copilot
应用
模型
AI应用场景
安全
具身智能
写作
特斯拉
机器
字节跳动
视觉
语音
Anthropic
AGI
架构
prompt
英特尔