1. Ollama简介

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。

• 官网地址：https://ollama.com/ (opens new window)
• Github：https://github.com/ollama/ollama (opens new window)

2. 支持的操作系统

Ollama支持多种操作系统，包括但不限于macOS、Windows 10及更高版本、多种Linux发行版以及通过Docker容器运行。

3. 安装Ollama

Windows系统

• 访问 Ollama (opens new window) 官方网站的下载页面，点击 Download for Windows (opens new window) 下载对应的安装包。
• 双击安装包，按照提示完成安装。
• 安装完成后，打开命令提示符窗口，输入ollama命令，验证安装是否成功。

Linux系统

• 打开终端，执行以下命令下载安装脚本：

  curl -fsSL https://ollama.com/install.sh | sh
  

• 等待安装完成，安装脚本会自动下载所需的组件，并完成Ollama的安装与配置。
• 安装完成后，可以通过以下命令启动Ollama：

  ollama serve
  

Mac系统

• 访问Ollama官方网站下载对应Mac的安装包。
• 下载好后打开安装命令行进行安装。

4. 运行模型

安装完成后，可以通过命令行启动Ollama并运行模型。例如，运行Llama3.1-8b模型的命令如下（需要8G的显存）：

ollama run Llama3.1-8b

如果本地不存在该模型，Ollama会自动下载完整模型文件到本地磁盘，然后启动模型；若本地存在模型，则直接启动。

Ollama支持的模型可在 https://ollama.com/search (opens new window) 查看。

5. 配置Ollama的环境变量

Windows系统

windows 的安装默认不支持修改程序安装目录

• 默认安装后的目录：C:\Users\{username}\AppData\Local\Programs\Ollama
• 默认安装的模型目录：C:\Users\{username}\.ollama\models
• 默认的配置文件目录：C:\Users\{username}\AppData\Local\Ollama

修改模型目录： 你需要打开系统设置，进入“高级系统设置”，然后点击“环境变量”。在“系统变量”中新建一个变量，变量名为OLLAMA_MODELS，变量值为你创建的新目录路径，例如E:\ollama\models,然后重启Ollama服务。

修改启动端口： 你需要打开系统设置，进入“高级系统设置”，然后点击“环境变量”。在“系统变量”中新建一个变量，变量名为OLLAMA_HOST，变量值为你要修改的端口，例如11434，然后重启 Ollama ，浏览器访问 http://127.0.0.1:11434。

Linux系统

如果Ollama以systemd服务的形式运行，你可以通过编辑/etc/systemd/system/ollama.service文件来设置环境变量。在[Service]部分下添加一行 Environment="OLLAMA_MODELS=/path/to/ollama/models"，然后执行以下命令来刷新配置并重启Ollama服务：

systemctl daemon-reload
systemctl restart ollama.service

确保替换/path/to/ollama/models为你的实际路径

例如：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/lib/nvidia-cuda-toolkit/bin:/root/anaconda3/bin:/root/anaconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"

Environment="OLLAMA_HOST=0.0.0.0:11434"
# Environment="OLLAMA_NUM_PARALLEL=2"  #并行处理请求的数量
Environment="OLLAMA_MAX_LOADED_MODELS=1" #同时加载的模型数量
Environment="OLLAMA_KEEP_ALIVE=3h" #模型在内存中保持时间

Environment="OLLAMA_MODELS=/data/models

[Install]
WantedBy=default.target

# systemctl daemon-reload
# systemctl restart ollama

6. 基于WebUI部署Ollama可视化对话界面

Ollama自带控制台对话界面体验可能不佳，可以部署Web可视化聊天界面以提升用户体验。具体步骤如下：

1. 下载并安装Node.js工具。
2. 下载ollama-webui工程代码。
3. 在ollama-webui代码目录下，设置Node.js工具包镜像源。
4. 安装Node.js依赖的工具包。
5. 启动Web可视化界面。

以上步骤可以帮助您在本地环境中部署Ollama并运行大型语言模型。希望这些信息对您有所帮助。