跳转到内容

Ollama 设置

Ollama 设置界面

以下是 WordOllama 中与 Ollama 相关的配置选项,帮助您优化模型使用体验。

EndPoint 设置

  • 默认地址http://localhost:11434
  • 自定义场景
    • 修改环境变量后:使用新指定的地址。
    • 局域网模式:输入局域网地址(如 http://192.168.1.100:11434)。
    • 远程服务器:输入服务器完整地址。

模型管理

选择模型

  • 通过下拉框选择已安装的模型。
  • 点击“刷新”按钮更新可用模型列表。
  • 实时显示当前所选模型的状态。

下载新模型

  1. 输入模型名称:
    • 简写形式:qwen2.5
    • 完整形式:qwen2.5:latest
  2. 点击“下载”按钮开始下载。
  3. 界面下方显示实时下载进度。

删除模型

  1. 在模型列表中选择要删除的模型(点击任意单元格)。
  2. 点击“删除所选模型”按钮。
  3. 确认删除操作。
  4. 等待删除完成。

性能参数设置

Tokens 上限

  • 作用:控制模型输出内容的最大长度。
  • 影响:更高的限制需要更多内存或显存。
  • 建议:根据硬件性能合理设置。
Tokens 与资源占用参考表

7B 模型资源占用估算

Tokens 上限CPU 内存占用GPU 显存占用适用场景
512~4GB~3GB短文本处理、简单问答
1024~6GB~4GB一般文档处理、普通翻译
2048~8GB~5GB长文档处理、深度分析
4096~12GB~7GB复杂文档处理、大段翻译
8192~16GB~9GB超长文档、研究分析

13B 模型资源占用估算

Tokens 上限CPU 内存占用GPU 显存占用适用场景
512~8GB~6GB短文本处理、简单问答
1024~12GB~8GB一般文档处理、普通翻译
2048~16GB~10GB长文档处理、深度分析
4096~24GB~14GB复杂文档处理、大段翻译
8192~32GB~18GB超长文档、研究分析

温度设置

  • 范围:0.0 - 1.0
  • 作用:控制输出随机性。
    • 较低值(接近 0):输出更确定、保守。
    • 较高值(接近 1):输出更随机、富有创造性。
  • 建议:根据使用场景调整。