基本介绍

Ollama是一个支持在Windows、Linux和MacOS上本地运行大语言模型的工具。它允许用户非常方便地运行和使用各种大语言模型,比如Qwen模型等。用户只需一行命令就可以启动模型。

主要特点

1. 跨平台支持Windows、Linux、MacOS系统。
2. 提供了丰富的模型库,包括Qwen、Llama等1700+大语言模型,可以在官网model library中直接下载使用。
3. 支持用户上传自己的模型。用户可以将huggingface等地方的ggml格式模型导入到ollama中使用。也可以将基于pytorch等格式的模型转换为ggml格式后导入。
4. 允许用户通过编写modelfile配置文件来自定义模型的推理参数,如temperature、top_p等,从而调节模型生成效果。
5. 支持多GPU并行推理加速。在多卡环境下,可以设置环境变量来指定特定GPU。

总的来说Ollama降低了普通开发者使用大语言模型的门槛,使得本地部署体验大模型变得简单易行。对于想要搭建自己的AI应用,或者针对特定任务调优模型的开发者来说,是一个非常有用的工具。它的一些特性,如允许用户自定义模型参数,对模型进行个性化适配提供了支持。

官网

• Ollama 下载：https://ollama.com/download

• Ollama 官方主页：https://ollama.com

• Ollama 官方 GitHub 源代码仓库：https://github.com/ollama/ollama/

安装

Ollama提供了一键安装脚本,可以快速在Linux系统上安装Ollama。
安装步骤如下:

打开终端,执行以下命令下载安装脚本:

curl -fsSL https://ollama.com/install.sh | sh   

等待安装完成。安装脚本会自动下载所需的组件,并完成Ollama的安装与配置。

安装完成后,可以通过以下命令启动Ollama:

ollama serve   

但是你执行命令的时候会提示没有sudo权限，这时候该怎么办呢？
我们选择从官网下载下载离线安装包，根据你的系统选择相应的安装包就可以了

下载地址：https://github.com/ollama/ollama/releases/tag/v0.4.4 (opens new window)

下载完成后，我们使用命令解压

tar -xzvf  ./ollama-linux-amd64.tgz

解压后，使用 ./bin/ollama serve& 命令即可启动ollama服务，但是我们使用ollama下载模型的时候，如ollama run qwen2.5:14b会提示找不到ollama这个指令，这是因为ollama没有添加到系统环境变量中

将路径添加到 PATH 环境变量

如果你希望通过任何终端会话直接访问 ollama，你可以将 ollama 所在的目录 /home/ollama/bin 添加到系统的 PATH 环境变量中。这样，系统会在这些目录中查找可执行文件。

1. 编辑 .bashrc 或 .zshrc 文件：

nano ~/.bashrc

2. 添加路径到 PATH：

export PATH=$PATH:/home/ollama/bin
# export OLLAMA_HOME=/data/ollama
export OLLAMA_KEEP_ALIVE=12h
export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_MODELS=/data/ollama/models

3. 保存并退出使更改生效：

source ~/.bashrc

这时候就可以直接使用命令运行模型啦

ollama run qwen2.5:14b