linux 在没有 sudo 权限下安装 Ollama 框架
# 基本介绍
Ollama是一个支持在Windows、Linux和MacOS上本地运行大语言模型的工具。它允许用户非常方便地运行和使用各种大语言模型,比如Qwen模型等。用户只需一行命令就可以启动模型。
主要特点
- 跨平台支持Windows、Linux、MacOS系统。
- 提供了丰富的模型库,包括Qwen、Llama等1700+大语言模型,可以在官网model library中直接下载使用。
- 支持用户上传自己的模型。用户可以将huggingface等地方的ggml格式模型导入到ollama中使用。也可以将基于pytorch等格式的模型转换为ggml格式后导入。
- 允许用户通过编写modelfile配置文件来自定义模型的推理参数,如temperature、top_p等,从而调节模型生成效果。
- 支持多GPU并行推理加速。在多卡环境下,可以设置环境变量来指定特定GPU。
总的来说Ollama降低了普通开发者使用大语言模型的门槛,使得本地部署体验大模型变得简单易行。对于想要搭建自己的AI应用,或者针对特定任务调优模型的开发者来说,是一个非常有用的工具。它的一些特性,如允许用户自定义模型参数,对模型进行个性化适配提供了支持。
官网
Ollama 下载：https://ollama.com/download
Ollama 官方主页：https://ollama.com
Ollama 官方 GitHub 源代码仓库：https://github.com/ollama/ollama/
# 安装
Ollama提供了一键安装脚本,可以快速在Linux系统上安装Ollama。
安装步骤如下:
打开终端,执行以下命令下载安装脚本:
curl -fsSL https://ollama.com/install.sh | sh
等待安装完成。安装脚本会自动下载所需的组件,并完成Ollama的安装与配置。
安装完成后,可以通过以下命令启动Ollama:
ollama serve
但是你执行命令的时候会提示没有sudo权限，这时候该怎么办呢？
我们选择从官网下载下载离线安装包，根据你的系统选择相应的安装包就可以了
下载地址：https://github.com/ollama/ollama/releases/tag/v0.4.4 (opens new window)
下载完成后，我们使用命令解压
tar -xzvf ./ollama-linux-amd64.tgz
解压后，使用 ./bin/ollama serve& 命令即可启动ollama服务，但是我们使用ollama下载模型的时候，如ollama run qwen2.5:14b会提示找不到ollama这个指令，这是因为ollama没有添加到系统环境变量中
将路径添加到 PATH 环境变量
如果你希望通过任何终端会话直接访问 ollama，你可以将 ollama 所在的目录 /home/ollama/bin 添加到系统的 PATH 环境变量中。这样，系统会在这些目录中查找可执行文件。
- 编辑
.bashrc或.zshrc文件：
nano ~/.bashrc
- 添加路径到
PATH：
export PATH=$PATH:/home/ollama/bin
# export OLLAMA_HOME=/data/ollama
export OLLAMA_KEEP_ALIVE=12h
export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_MODELS=/data/ollama/models
2
3
4
5
- 保存并退出使更改生效：
source ~/.bashrc
这时候就可以直接使用命令运行模型啦
ollama run qwen2.5:14b