XGrammar
陈天奇团队LLM结构化生成新引擎XGrammar:百倍加速、近零开销
现在,大语言模型的结构化生成有了一个更加高效、灵活的引擎。 不管是编写和调试代码,还是通过函数调用来使用外部工具,又或是控制机器人,都免不了需要 LLM 生成结构化数据,也就是遵循某个特定格式(如 JSON、SQL 等)的数据。 但使用上下文无关语法(CFG)来进行约束解码的方法并不高效。
11/26/2024 1:22:00 PM
机器之心
- 1
资讯热榜
标签云
人工智能
OpenAI
AIGC
AI
ChatGPT
AI绘画
DeepSeek
数据
机器人
模型
谷歌
大模型
Midjourney
智能
开源
用户
学习
GPT
微软
Meta
图像
AI创作
技术
论文
Stable Diffusion
Gemini
马斯克
算法
蛋白质
生成式
芯片
代码
英伟达
神经网络
腾讯
计算
研究
Anthropic
Sora
3D
AI for Science
AI设计
机器学习
GPU
开发者
AI视频
场景
华为
预测
人形机器人
百度
苹果
伟达
Transformer
深度学习
xAI
模态
字节跳动
大语言模型
Claude
搜索
驾驶
神器推荐
文本
具身智能
Copilot
LLaMA
算力
安全
视觉
视频生成
干货合集
应用
训练
大型语言模型
科技
亚马逊
特斯拉
AGI
DeepMind