小白不白
1 个月前山东
本地大模型已经能跑在 16G 内存上了:Ollama 轻体验
文章字数:211
阅读时间: 1 分钟
智能摘要
AI 生成
最近把 Ollama 装回了自己的主力机,实测 16G 内存可以流畅跑 7B 级别的对话模型。 三分钟上手 bash 安装后拉取模型 ollama run qwen2.5:7b 提供 OpenAI 兼容接口 ollama serve 能干什么 长文档总结、写…
最近把 Ollama 装回了自己的主力机,实测 16G 内存可以流畅跑 7B 级别的对话模型。
三分钟上手
# 安装后拉取模型
ollama run qwen2.5:7b
# 提供 OpenAI 兼容接口
ollama serve
能干什么
- 长文档总结、写周报模板
- 批量重命名 / 正则生成
- 作为本地 API 给自己的小工具当脑子
不能干什么
复杂推理和长上下文依然要靠云端大模型。但隐私数据不出门这件事,本身就值回票价。
原创文章,作者:小白不白,如需转载,请注明出处:https://www.zkom.cn/post/6
评论列表(1条)