Position Encoding
Transformer的无限之路:位置编码视角下的长度外推综述
在自然语言处理(Natural Language Processing,NLP)领域,Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。然而,Transformer 及在其基础之上的大语言模型(Large Language Models,LLMs)都不具备有效长度外推(Length Extrapolation)的能力。这意味着,受限于其训练时预设的上下文长度限制,大模型无法有效处理超过该长度限制的序列。文本续写和语言延展是人类语言的核心能力之一,与之相对的,长度外推是语言模型智能进化的重要方向,
1/15/2024 4:06:00 PM
机器之心
- 1
资讯热榜
标签云
人工智能
OpenAI
AIGC
AI
ChatGPT
AI绘画
DeepSeek
数据
机器人
谷歌
大模型
Midjourney
模型
智能
用户
学习
GPT
开源
微软
AI创作
图像
Meta
技术
论文
Stable Diffusion
马斯克
算法
生成式
蛋白质
Gemini
芯片
代码
神经网络
腾讯
计算
研究
Sora
AI设计
英伟达
3D
AI for Science
GPU
开发者
机器学习
场景
预测
华为
Anthropic
伟达
Transformer
模态
百度
深度学习
AI视频
驾驶
文本
苹果
搜索
神器推荐
LLaMA
算力
xAI
Copilot
人形机器人
安全
科技
视频生成
应用
字节跳动
具身智能
干货合集
2024
视觉
大语言模型
AGI
特斯拉
Claude
亚马逊
语音
AI应用场景