在 macOS 上部署 DeepSeek-R1

2025-01-28

DeepSeek 接连放大招,狠狠挤了一把 AI 泡沫,硅谷巨头纷纷股价暴跌。

在使用网页版的同时,作为小白也想体验一下本地部署的乐趣,遗憾的是没有高配电脑,只好在老掉牙的 MBP 上试试了,权当图一乐。

安装 Ollama

Ollama 可以在本地运行大语言模型,目前已经支持基于 Llama 和通义千问从 DeepSeek-R1 蒸馏出的六个密集模型1

Ollama 官网表示只支持 macOS 11 以上,而我还在用远古时期的 Catalina。尝试使用 Homebrew 编译安装:

$ brew install ollama

由于 Go 项目编译时网络不顺畅,为了使用代理,可以设置 export HOMEBREW_NO_INSTALL_FROM_API=1,然后在 $(brew --repository)/Library/Taps/homebrew/homebrew-core/Formula/o/ollama.rbinstall 函数中加入:

ENV['GO111MODULE'] = 'on'
ENV['GOPROXY'] = 'https://goproxy.cn,direct'

然后执行 brew install ollama

如果出现:

llama-mmap.cpp:185:86: error: use of undeclared identifier 'errno'

进入 debug 模式:

$ brew install ollama --debug

出现错误后选择 shell,编辑 llama/llama-mmap.cpp,引入头文件 #include <errno.h>,exit 并选择 ignore 继续编译即可。

下载运行 DeepSeek-R1

不知为何 Homebrew 安装时 ollama.rb 中的 service 函数并没有生效,因此手动启动服务:

$ ollama serve

如果想长期使用,可以自行写一个脚本放在 ~/Library/LaunchAgents 下。

https://ollama.com/library/deepseek-r1 选择合适的模型,由于电脑配置不高,我选择 1.5b,然后开启另一个终端执行:

$ ollama run deepseek-r1:1.5b

接着就会自动下载并运行了。

小结

由于选择的是最小的模型,效果不佳。比如我问它《水浒传》的作者是谁,它竟然说是梁山泊的人,令人忍俊不禁。

另外 Ollama 目前还不支持在 Intel Mac 下使用 AMD GPU2,实际使用时 CPU 占满,GPU 全程吃瓜,生成速度很慢,所以只能图一乐,Web UI 什么的也不想折腾了。

AImacOS

本作品根据 署名-非商业性使用-相同方式共享 4.0 国际许可 进行授权。

为邮件客户端添加 OAuth 2.0 代理