跳转到内容
WordOllama

如何调用GPU

NVIDIA

支持显卡

  • NVIDIA GeForce RTX 系列 (20/30/40/50 系列及以上)
  • NVIDIA GeForce GTX 16 系列及以上
  • NVIDIA Tesla 系列
  • 显存建议至少 6GB 以上
  • CUDA Capability 7.0 及以上

安装 CUDA

  1. 访问 NVIDIA 官网下载 CUDA Toolkit (https://developer.nvidia.com/cuda-downloads)
  2. 选择 Windows 操作系统及对应版本
  3. 下载并安装 CUDA Toolkit（建议版本 11.7 或以上）
  4. 安装完成后，打开命令提示符，输入以下命令验证安装：
Terminal window
nvidia-smi
  1. 重启 Ollama 即可启用 GPU 运行

AMD

支持显卡

官方支持：

  • AMD Radeon RX 9000 系列
  • AMD Radeon RX 7000 系列
  • AMD Radeon RX 6000 系列
  • AMD Instinct 系列
  • 显存建议至少 6GB 以上

安装 HIP

  1. 下载并安装最新版本的 AMD 驱动
  2. 安装 HIP SDK (https://www.amd.com/en/developer/resources/rocm-hub/hip-sdk.html)
  3. 重启 Ollama 即可启用 GPU 运行

部分非官方支持的 AMD 显卡解决办法

部分 AMD 显卡（如 500 系列、RDNA 5000 系列、680M 等）未获得 AMD 官方 ROCm（HIP）支持，无法直接启用 GPU 运行，但可通过以下步骤实现：

Ollama-for-AMD：支持非官方 AMD 显卡的库

  1. 访问项目地址：https://github.com/likelovewant/ollama-for-amd
  2. 下载预编译版本或从源码编译 Ollama 程序文件并安装
  3. 下载预编译的 rocblas 和 library，或根据仓库 WIKI 教程自行编译
  4. 将 rocblas.dll 替换 C:\Program Files\AMD\ROCm\6.1\bin 内全部同名 dll，library 覆盖至 rocblas\library
  5. 重新启动 Ollama

更便捷的办法

  1. 使用本人制作的工具 (https://github.com/ByronLeeeee/Ollama-For-AMD-Installer)
  2. 选择显卡型号，点击“检查最新版本”，即可自动下载并安装最新 Ollama-for-AMD 编译版本、匹配显卡的 rocblas 和 library，并完成替换。

Ollama-For-AMD-Installer

注意事项

  1. 如仍无法调用 GPU（常见于部分双显卡笔记本），可尝试通过环境变量强制指定 Ollama 使用某显卡运行。
  2. 建议将系统电源计划设置为“高性能”模式。
  3. 保持显卡驱动为最新版本。
  4. 监控显存使用情况，避免溢出。
  5. 使用大模型时，建议关闭其他显卡密集型应用。