Ollama - 本地安装部署

# 1. Ollama简介

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。

官网地址：https://ollama.com/ (opens new window)
Github：https://github.com/ollama/ollama (opens new window)

# 2. 支持的操作系统

Ollama支持多种操作系统，包括但不限于macOS、Windows 10及更高版本、多种Linux发行版以及通过Docker容器运行。

# 3. 安装Ollama

# Windows系统

访问 Ollama (opens new window) 官方网站的下载页面，点击 Download for Windows (opens new window) 下载对应的安装包。
双击安装包，按照提示完成安装。
安装完成后，打开命令提示符窗口，输入ollama命令，验证安装是否成功。

# Linux系统

打开终端，执行以下命令下载安装脚本：
```
curl -fsSL https://ollama.com/install.sh | sh
```
1
等待安装完成，安装脚本会自动下载所需的组件，并完成Ollama的安装与配置。
安装完成后，可以通过以下命令启动Ollama：
```
ollama serve
```
1

# Mac系统

访问Ollama官方网站下载对应Mac的安装包。
下载好后打开安装命令行进行安装。

# 4. 运行模型

安装完成后，可以通过命令行启动Ollama并运行模型。例如，运行Llama3.1-8b模型的命令如下（需要8G的显存）：

ollama run Llama3.1-8b

如果本地不存在该模型，Ollama会自动下载完整模型文件到本地磁盘，然后启动模型；若本地存在模型，则直接启动。

Ollama支持的模型可在 https://ollama.com/search (opens new window) 查看。

# 5. 配置Ollama的环境变量

# Windows系统

windows 的安装默认不支持修改程序安装目录

默认安装后的目录：C:\Users\{username}\AppData\Local\Programs\Ollama
默认安装的模型目录：C:\Users\{username}\.ollama\models
默认的配置文件目录：C:\Users\{username}\AppData\Local\Ollama

修改模型目录： 你需要打开系统设置，进入“高级系统设置”，然后点击“环境变量”。在“系统变量”中新建一个变量，变量名为OLLAMA_MODELS，变量值为你创建的新目录路径，例如E:\ollama\models,然后重启Ollama服务。 修改启动端口： 你需要打开系统设置，进入“高级系统设置”，然后点击“环境变量”。在“系统变量”中新建一个变量，变量名为OLLAMA_HOST，变量值为你要修改的端口，例如11434，然后重启 Ollama ，浏览器访问 http://127.0.0.1:11434。

# Linux系统

如果Ollama以systemd服务的形式运行，你可以通过编辑/etc/systemd/system/ollama.service文件来设置环境变量。在[Service]部分下添加一行 Environment="OLLAMA_MODELS=/path/to/ollama/models"，然后执行以下命令来刷新配置并重启Ollama服务：

sudo systemctl daemon-reload
sudo systemctl restart ollama.service

1
2

确保替换/path/to/ollama/models为你的实际路径

# 6. 基于WebUI部署Ollama可视化对话界面

Ollama自带控制台对话界面体验可能不佳，可以部署Web可视化聊天界面以提升用户体验。具体步骤如下：

下载并安装Node.js工具。
下载ollama-webui工程代码。
在ollama-webui代码目录下，设置Node.js工具包镜像源。
安装Node.js依赖的工具包。
启动Web可视化界面。

以上步骤可以帮助您在本地环境中部署Ollama并运行大型语言模型。希望这些信息对您有所帮助。

#Ollama #Python

← 项目中常见的 Typescript 语法