AI在线 AI在线

Ollama的介绍与测试

作者:Python伊甸园
2025-03-10 08:30
一、Ollama介绍Ollama是一个开源工具,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。 它提供了一个简洁高效的界面,让用户能够轻松地创建、执行和管理这些复杂的模型。 此外,Ollama还配备了一个丰富的预构建模型库,使得这些模型能够无缝集成到各种应用程序之中,大大提升了开发效率和用户体验。

Ollama的介绍与测试

一、Ollama介绍

Ollama是一个开源工具,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。

它提供了一个简洁高效的界面,让用户能够轻松地创建、执行和管理这些复杂的模型。此外,Ollama还配备了一个丰富的预构建模型库,使得这些模型能够无缝集成到各种应用程序之中,大大提升了开发效率和用户体验。

二、Ollama安装

2.1  官方网站

Ollama官方网址:https://ollama.com/

此网站可放心打开,没有墙,打开后如下:

图片

2.2  Ollama下载

点击【Download】,会跳转到下载页面,如下:

图片

根据自己的系统选择下载,我们以Windows系统为例进行安装。

点击【Download for Windows】,然后等待下载即可。

图片

2.3  Ollama安装

2.3.1  双击【OllamaSetup.exe】开始安装。

图片

2.3.2  点击【Install】开始安装。

图片

等待安装即可,可以看到,目前Ollama版本为0.3.6。

图片

2.3.3  注意事项

安装完成后,不会有提示,需要在开始里面找到Ollama。

图片

并且一定要注意,如果没有成功添加环境变量,需要自己手动添加,否则无法在命令行内启动ollama。

图片

2.4  Ollama快速应用

2.4.1  打开命令行窗口

通过wins+R,输入cmd,点击确定,打开命令行窗口。

图片

图片

2.4.2  通过Ollama配置大模型

输入  ollama  list ,查看当前大模型情况,首次安装显示应如下图:

图片

2.4.3  下载预训练模型

(1)点击  Models ,会来到Ollama支持的预训练模型页面。

图片

图片

(2)以下载 【yi】模型为例,我们在搜索框输入【yi】,然后点击进入【yi】模型的详细页面:

图片

图片

yi模型简介:

yi是一系列大型语言模型,在支持英语和汉语的3万亿标记的高质量语料库上训练。可以看到有不同的yi模型提供了6b、9b和34b的预训练模型,b表示10亿参数量,6b就是60亿参数量。

(3)在命令行窗口输入:ollama run yi:6b-chat  ,这个命令本来是运行yi模型的命令,但是它在运行前会先检查是否有yi模型,如果没有,就会先下载yi模型,如果有,则会运行yi模型。

正规的下载命令应为:ollama pull yi:6b-chat

yi模型下载截图:

图片

目前比较好的一点是,Ollama还没有被墙,所以我们可以在线下载,网速也是比较快的,能道道20MB/s以上,但是不排除将来被墙。

(4)下载完成后,会直接启动yi模型,我们可以在直接输入问题与yi模型进行交互。

图片

2.4.4  与yi模型对话

图片

可以看到,在回答第一个问题时,还是有理有据。但是在回答第二个逻辑问题时,6b的模型还是不准确的,没有很好地理解问题。

三、Ollama命令总结

为了方便大家对Ollama进行操作,这里列举了常用的一些ollama操作命令:

ollama serve:启动 Ollama 服务,是后续操作的基础。
ollama create:从模型文件创建模型,适用于自定义模型或本地已有模型文件的情况。
ollama show:显示模型信息,可查看模型架构、参数等详细信息,辅助模型分析。
ollama run:运行模型,如ollama run qwen2,若本地无该模型会自动下载并运行,可用于快速测试模型。
ollama pull:从注册表中拉取模型,如ollama pull llama3,方便获取官方或其他来源的模型。
ollama push:将模型推送到注册表,便于共享模型。
ollama list:列出本地已有的模型,方便管理和选择。
ollama cp:复制模型,可用于备份或创建模型副本。
ollama rm:删除模型,释放存储空间。
ollama help:获取任何命令的帮助信息,方便用户快速查询命令用法。
相关标签:

相关资讯

Ollama的配置修改与接口调用

一、修改环境变量1.1  配置远程访问在我们本地部署好ollama之后,仅支持本机访问,我们可以通过修改环境变量让其他人可以远程访问。 在wins电脑上增加环境变量:复制1.2  配置本地模型路径1.2.1 本地模型默认路径wins本地模型默认路径:C:\Users\%username%\.ollama\models。 这里 %username% 是当前登录的用户名。
3/10/2025 9:00:00 AM
Python伊甸园

RAG(五)BGE-M3,最流行的开源text embedding模型

项目地址: embedding? Text Embedding 是一种将文本数据映射到高维向量空间的技术,这些向量能够捕捉文本的语义信息。 通过将文本嵌入到向量空间中,我们可以利用向量之间的距离或相似性来衡量文本之间的语义相关性。
3/21/2025 7:00:00 AM
Glodma

大模型RL不止数学代码!7B奖励模型搞定医学法律经济全学科, 不用思维链也能做题

一个7B奖励模型搞定全学科,大模型强化学习不止数学和代码。 o1/r1的强化学习很强,但主要探索了数学和代码领域,因为这两个领域的数据结构化程度高,奖励函数/奖励模型比较好设计。 那么,想提升大模型在其他学科领域的能力该怎么办?
4/3/2025 9:23:08 AM
量子位