AI在线 AI在线

QwQ

使用vLLM部署工具加速QWQ，推理速度比ollama更快、并发更高

使用vLLM部署工具加速QWQ，推理速度比ollama更快、并发更高
与传统的HuggingFace Transformers相比，vLLM的吞吐量高达24倍，且无需改变模型架构，它采用创新的PagedAttention算法，优化了注意力键和值的管理，从而提升了推理速度，并且其能够有效地利用多核CPU和GPU资源，显著提升LLM的推理速度。 相比于ollama，vllm输出的速度更快，支持的并发更高，目前也没有遇到安全问题，稳定性非常好，更适合作为服务器的接口服务来部署。 但相应的，vllm会把服务器的GPU显存都占满，使得机器无法再部署其他服务，同时ollama部署更加的简单，也是因为这个原因ollama在最近部署deepseek的热潮中被提到的更多一些，因此个人使用可能ollama更合适。
4/9/2025 10:47:02 AM
贝塔街的万事
全国高校首个：东南大学上线阿里 QwQ-32B，支持消费级显卡本地部署

全国高校首个：东南大学上线阿里 QwQ-32B，支持消费级显卡本地部署
近日东南大学基于昇腾国产算力平台正式接入阿里最新开源模型 QwQ-32B，成为全国首个上线 QwQ-32B 服务的高校。东南大学称，QwQ-32B 虽仅有 32B 参数，但通过大规模强化学习训练，在数学推理（AIME24 评测）、代码生成（LiveCodeBench）、工具调用（BFCL 测试）等任务中表现媲美 671B 参数的 DeepSeek-R1，甚至部分指标实现超越。
3/10/2025 3:47:55 PM
远洋
通义App首发千问QwQ-32B智能体，AI体验持续升级

通义App首发千问QwQ-32B智能体，AI体验持续升级
3月6日，AIbase发现阿里AI To C业务旗下AI应用通义，已经接入阿里最新开源推理模型通义千问QwQ-32B，目前在移动端与网页端均可体验。 千问QwQ-32B是阿里最新发布的强大推理模型，其特点是兼具性能与效率。 千问QwQ-32B在数学、代码及通用能力上实现质的飞跃，整体性能比肩DeepSeek-R1。
3/6/2025 10:17:00 AM
AI在线
无需高攀云端！阿里开源全新的推理模型通义千问QwQ-32B，消费级显卡也能跑出S级性能！

无需高攀云端！阿里开源全新的推理模型通义千问QwQ-32B，消费级显卡也能跑出S级性能！
AI圈再掀巨浪!阿里巴巴震撼发布并全面开源了其最新力作——通义千问QwQ-32B推理模型。 这款被寄予厚望的新模型，并非徒有虚名，而是经过大规模强化学习的千锤百炼，在硬核的数学运算、复杂的代码编写以及通用的AI能力上实现了质的飞跃，整体性能已经能够正面硬刚行业标杆DeepSeek-R1，实力不容小觑。 更令人兴奋的是，通义千问QwQ-32B一举打破了高性能AI模型“高价难用”的魔咒。
3/6/2025 10:04:00 AM
AI在线
​阿里新开源推理大模型QwQ-32B，性能媲美DeepSeek-R1、显存需求更小

​阿里新开源推理大模型QwQ-32B，性能媲美DeepSeek-R1、显存需求更小
阿里巴巴旗下的Qwen团队近日推出了其最新的开源大型语言模型（LLM）家族成员——QwQ-32B。 这款拥有320亿参数的推理模型，旨在通过强化学习（RL）提升在复杂问题解决任务上的性能。 据介绍，QwQ-32B已在Hugging Face和ModelScope上以 Apache2.0许可证开源。
3/6/2025 9:17:00 AM
AI在线
阿里通义千问推出推理模型QwQ-Max预览版 可在qwen.ai域名体验

阿里通义千问推出推理模型QwQ-Max预览版 可在qwen.ai域名体验
2月25日，阿里巴巴宣布推出基于Qwen2.5-Max的推理模型QwQ-Max-Preview，并计划全面开源其最新推理模型QwQ-Max和Qwen2.5-Max。 此次发布的QwQ-Max-Preview是一个预览版本，阿里巴巴表示，正式版本将很快推出，并基于Apache2.0许可证全面开源。 与以往不同的是，此次开源不仅包括模型本身，还涵盖了更小的版本，如QwQ-32B，这些版本可以部署在本地设备上，进一步推动AI技术的普及和应用。
2/25/2025 8:35:00 AM
AI在线
陶哲轩：通义千问QwQ奥数真厉害，开源大模型顶流

陶哲轩：通义千问QwQ奥数真厉害，开源大模型顶流
QwQ 具有神奇的推理能力。 一个刚发布两天的开源模型，正在 AI 数学奥林匹克竞赛 AIMO 上创造新纪录。 本周五，知名数学家、加州大学洛杉矶分校教授、菲尔茨奖得主陶哲轩（Terence Tao）介绍了第二届 AIMO 竞赛的最新进展。
11/30/2024 1:48:00 PM
机器之心
阿里发布类o1模型QWQ，可自我反思纠错，实测数学推理远超o1、DS-R1，人人免费；网友：OpenAI除了商标，没有护城河

阿里发布类o1模型QWQ，可自我反思纠错，实测数学推理远超o1、DS-R1，人人免费；网友：OpenAI除了商标，没有护城河
编辑 | 言征阿里真的是开源模型界的扛把子，这次把类o1模型的预览版也公开推出了，现在大家都可以直接在抱抱脸上体验又一个国产版的万能推理机了！ 小编迫不及待地马上尝试了两个高中奥数题，一道数列题、一道概率题，这解题思路堪称完美闭环。 全对！
11/29/2024 1:57:38 PM
言征
推理水平对标OpenAI o1！阿里云通义开源最新推理模型QwQ

推理水平对标OpenAI o1！阿里云通义开源最新推理模型QwQ
11月28日，阿里云通义团队发布全新AI推理模型QwQ-32B-Preview，并同步开源。 评测数据显示，预览版本的QwQ，已展现出研究生水平的科学推理能力，在数学和编程方面表现尤为出色，整体推理水平比肩OpenAI o1。 QwQ（Qwen with Questions）是通义千问Qwen大模型最新推出的实验性研究模型，也是阿里云首个开源的AI推理模型。
11/28/2024 5:31:00 PM
新闻助手
  • 1