DeepSeek 接连放大招,狠狠挤了一把 AI 泡沫,硅谷巨头纷纷股价暴跌。
在使用网页版的同时,作为小白也想体验一下本地部署的乐趣,遗憾的是没有高配电脑,只好在老掉牙的 MBP 上试试了,权当图一乐。
安装 Ollama
Ollama 可以在本地运行大语言模型,目前已经支持基于 Llama 和通义千问从 DeepSeek-R1 蒸馏出的六个密集模型1。
Ollama 官网表示只支持 macOS 11 以上,而我还在用远古时期的 Catalina。尝试使用 Homebrew 编译安装:
$ brew install ollama
由于 Go 项目编译时网络不顺畅,为了使用代理,可以设置 export HOMEBREW_NO_INSTALL_FROM_API=1
,然后在 $(brew --repository)/Library/Taps/homebrew/homebrew-core/Formula/o/ollama.rb
的 install
函数中加入:
ENV['GO111MODULE'] = 'on'
ENV['GOPROXY'] = 'https://goproxy.cn,direct'
然后执行 brew install ollama
。
如果出现:
llama-mmap.cpp:185:86: error: use of undeclared identifier 'errno'
进入 debug 模式:
$ brew install ollama --debug
出现错误后选择 shell
,编辑 llama/llama-mmap.cpp
,引入头文件 #include <errno.h>
,exit 并选择 ignore 继续编译即可。
下载运行 DeepSeek-R1
不知为何 Homebrew 安装时 ollama.rb
中的 service
函数并没有生效,因此手动启动服务:
$ ollama serve
如果想长期使用,可以自行写一个脚本放在 ~/Library/LaunchAgents
下。
在 https://ollama.com/library/deepseek-r1 选择合适的模型,由于电脑配置不高,我选择 1.5b,然后开启另一个终端执行:
$ ollama run deepseek-r1:1.5b
接着就会自动下载并运行了。
小结
由于选择的是最小的模型,效果不佳。比如我问它《水浒传》的作者是谁,它竟然说是梁山泊的人,令人忍俊不禁。
另外 Ollama 目前还不支持在 Intel Mac 下使用 AMD GPU2,实际使用时 CPU 占满,GPU 全程吃瓜,生成速度很慢,所以只能图一乐,Web UI 什么的也不想折腾了。