Ollama 设置界面
以下是 WordOllama 中与 Ollama 相关的配置选项,帮助您优化模型使用体验。
EndPoint 设置
- 默认地址:
http://localhost:11434
- 自定义场景:
- 修改环境变量后:使用新指定的地址。
- 局域网模式:输入局域网地址(如
http://192.168.1.100:11434
)。
- 远程服务器:输入服务器完整地址。
模型管理
选择模型
- 通过下拉框选择已安装的模型。
- 点击“刷新”按钮更新可用模型列表。
- 实时显示当前所选模型的状态。
下载新模型
- 输入模型名称:
- 简写形式:
qwen2.5
- 完整形式:
qwen2.5:latest
- 点击“下载”按钮开始下载。
- 界面下方显示实时下载进度。
删除模型
- 在模型列表中选择要删除的模型(点击任意单元格)。
- 点击“删除所选模型”按钮。
- 确认删除操作。
- 等待删除完成。
性能参数设置
Tokens 上限
- 作用:控制模型输出内容的最大长度。
- 影响:更高的限制需要更多内存或显存。
- 建议:根据硬件性能合理设置。
Tokens 与资源占用参考表
7B 模型资源占用估算
Tokens 上限 | CPU 内存占用 | GPU 显存占用 | 适用场景 |
---|
512 | ~4GB | ~3GB | 短文本处理、简单问答 |
1024 | ~6GB | ~4GB | 一般文档处理、普通翻译 |
2048 | ~8GB | ~5GB | 长文档处理、深度分析 |
4096 | ~12GB | ~7GB | 复杂文档处理、大段翻译 |
8192 | ~16GB | ~9GB | 超长文档、研究分析 |
13B 模型资源占用估算
Tokens 上限 | CPU 内存占用 | GPU 显存占用 | 适用场景 |
---|
512 | ~8GB | ~6GB | 短文本处理、简单问答 |
1024 | ~12GB | ~8GB | 一般文档处理、普通翻译 |
2048 | ~16GB | ~10GB | 长文档处理、深度分析 |
4096 | ~24GB | ~14GB | 复杂文档处理、大段翻译 |
8192 | ~32GB | ~18GB | 超长文档、研究分析 |
温度设置
- 范围:0.0 - 1.0
- 作用:控制输出随机性。
- 较低值(接近 0):输出更确定、保守。
- 较高值(接近 1):输出更随机、富有创造性。
- 建议:根据使用场景调整。