刚入手了新发布不久的 15 寸 MacBook Air。配置是 M2 芯片 + 16GB 内存 + 1TB SSD。 苹果的内存和硬盘价格真是感人…
开箱照，香槟色
正好赶上 Meta 开源了 Llama 2，迫不及待地在新电脑上试跑了一下。
本地部署
在 Apple Silicon 上跑大模型现在已经非常简单了。我使用的是 Ollama。
安装完成后，只需要一行命令：
ollama run llama2
体验
16GB 的统一内存对于运行 7B 甚至 13B 的量化模型来说绰绰有余。 在 M2 芯片的加持下，Llama 2 7B 的推理速度非常快，Token 生成速度没有太多的延迟感，大概 20 token/s。