Ollama

使用vLLM部署工具加速QWQ，推理速度比ollama更快、并发更高

与传统的HuggingFace Transformers相比，vLLM的吞吐量高达24倍，且无需改变模型架构，它采用创新的PagedAttention算法，优化了注意力键和值的管理，从而提升了推理速度，并且其能够有效地利用多核CPU和GPU资源，显著提升LLM的推理速度。相比于ollama，vllm输出的速度更快，支持的并发更高，目前也没有遇到安全问题，稳定性非常好，更适合作为服务器的接口服务来部署。但相应的，vllm会把服务器的GPU显存都占满，使得机器无法再部署其他服务，同时ollama部署更加的简单，也是因为这个原因ollama在最近部署deepseek的热潮中被提到的更多一些，因此个人使用可能ollama更合适。

4/9/2025 10:47:02 AM

贝塔街的万事

Ollama与vLLM部署对比：哪个更合适？

Ollama：简单易用的LLM部署工具 Ollama以其简洁的安装和易于使用的特性而闻名。其官方文档清晰易懂，即使是新手也能快速上手。 Ollama支持多种LLM模型，并提供便捷的命令行界面进行管理和运行。

4/9/2025 8:20:00 AM

耗子

如何用 Spring AI + Ollama 构建生成式 AI 应用

一、故事背景：Java 老炮儿与 AI 新秀的较量上周，产品经理拍着桌子说："三天内必须上线智能客服！要能回答订单查询、退换货政策，还要会讲冷笑话！ " 我盯着需求文档陷入沉思：传统规则引擎就像老黄牛，拉不动这么重的活；调用 OpenAI 又怕数据泄露——这不是让 Java 程序员在钢丝上跳霹雳舞吗？

3/31/2025 9:30:52 AM

手把手教你实现 Ollama+FastGPT+DeepSeek 打造个人专属 AI 知识库！

本文从零实现，基于Ollama、FastGPT、Deepseek在本地环境中打造属于自己的专业知识库，与大家分享~一、本地部署OllamaOllama是一个开源的本地大语言模型运行框架，专为在本地机器上便捷部署和运行大语言模型（LLM）而设计，无需依赖云端服务。它提供简单易用的界面和优化的推理引擎，帮助我们轻松加载、管理和运行各种AI模型。 1.

3/26/2025 8:50:00 AM

小喵学AI

Manus AI联手Ollama：打造真正能“动手”的智能助手

第一次听到Manus AI，我的内心泛起一丝好奇——这款AI助手居然声称比DeepSeek和ChatGPT还强？带着疑问，探索了它的独特之处，而结果着实让我吃惊。 Manus的名字来自拉丁语“Mens et Manus”，意即“头脑与双手”。

3/17/2025 12:00:00 AM

dev

Ollama高并发测试

本文主要来测试一下ollama的高并发能力。具体配置如下：一、Ollama默认参数执行我们打开4个窗口，然后分别让DeepSeek “给我讲一个笑话” ，看下不同窗口的答题顺序。通过答题顺序可以看到，在不进行参数设置时，模型是一个一个执行。

3/10/2025 10:00:00 AM

Ollama的配置修改与接口调用

一、修改环境变量1.1 配置远程访问在我们本地部署好ollama之后，仅支持本机访问，我们可以通过修改环境变量让其他人可以远程访问。在wins电脑上增加环境变量：复制1.2 配置本地模型路径1.2.1 本地模型默认路径wins本地模型默认路径：C:\Users\%username%\.ollama\models。这里 %username% 是当前登录的用户名。

3/10/2025 9:00:00 AM

Python伊甸园

国家网络安全通报中心通报：大模型工具Ollama存在安全风险

今日，国家网络安全通报中心发布关于大模型工具 Ollama 存在安全风险的情况通报，据清华大学网络空间测绘联合研究中心分析，开源跨平台大模型工具 Ollama 默认配置存在未授权访问与模型窃取等安全隐患。鉴于目前 DeepSeek 等大模型的研究部署和应用非常广泛，多数用户使用 Ollama 私有化部署且未修改默认配置，存在数据泄露、算力盗取、服务中断等安全风险，极易引发网络和数据安全事件。

3/3/2025 6:36:49 PM

远洋

基于Deepseek的安全分析工具设计实践

一、分享背景DeepSeek近日红的发紫，春节前发现一个叫Deepseek的LLM送 10 RMB的Token!!!，正巧符合生产工作中拥抱大模型的主旋律，又本着有羊毛必薅的原则配合B站ollama本地部署喂饭视频起了阿里qwen2.5(1.5b）就行Coding辅助。 ollama本地部署Coding模型复制step2:step3:效果：二、工具需求分析GUI化，免去命令行操作，12-80年龄段各类人群均适用。固定的LLM回复结果，使每一次提问都能得到相同格式的回答（区分在线提问和工具脚本的关键)。

2/19/2025 7:59:06 AM

沈家伟

本地部署DeepSeek就这么简单...

引言DeepSeek 作为一款优秀的语言模型，结合 Ollama 和 Cherry Studio 可以轻松实现本地部署。本文将深入浅出地介绍如何使用 Ollama 与 Cherry Studio 本地部署 DeepSeek。 Oallam简介Ollama 是一个简单易用的工具，它允许用户在本地快速部署和运行各种语言模型。

2/12/2025 8:21:55 AM

了不起

DeepSeek本地部署详细指南！从 Ollama 到个人知识库应用

作者：lushen一、系统介绍mbp pro：二、Ollama 安装与配置1. 跨平台安装指南Ollama 作为本地运行大模型的利器，支持三大主流操作系统：复制2. 服务验证复制出现上述则表示安装成功，可浏览器访问http://localhost:11434/验证。

2/11/2025 12:15:57 PM

腾讯技术工程

使用 DeepSeek R1 和 Ollama 搭建一个 RAG 系统（包含完整代码）

你有没有想过，能不能像跟人聊天一样，直接问 PDF 文件或技术手册问题？比如你有一本很厚的说明书，不想一页页翻，只想问它：“这个功能怎么用？ ”或者“这个参数是什么意思？

2/10/2025 11:27:37 AM

wayn

1分钟学会DeepSeek本地部署，小白也能搞定！

DeepSeek 是国内顶尖 AI 团队「深度求索」开发的多模态大模型，具备数学推理、代码生成等深度能力，堪称"AI界的六边形战士"。 DeepSeek 身上的标签有很多，其中最具代表性的标签有以下两个：低成本（不挑硬件、开源）高性能（推理能力极强、回答准确）一、为什么要部署本地DeepSeek？相信大家在使用 DeepSeek 时都会遇到这样的问题：图片这是由于 DeepSeek 大火之后访问量比较大，再加上漂亮国大规模、持续的恶意攻击，导致 DeepSeek 的服务器很不稳定。

2/10/2025 12:00:10 AM

磊