在 macOS 上利用 MLX 运行本地模型

什么是 MLX

引用 Apple 的描述：MLX is an array framework optimized for the unified memory architecture of Apple silicon

所以使用 MLX 的模型可以在 Apple Silicon 上有不错的表现，马上来试试吧！

安装环境与准备模型

1. pip install mlx-knife

mlx-knife 是一个可以方便启动运行着 MLX 模型同时提供 API 的包。

2. 下载想要的模型，这里以 Qwen3-Coder 为例，后续也介绍其在 Zed 中的使用。

mlxk pull mlx-community/Qwen3-Coder-30B-A3B-Instruct-4bit

需要注意的是，即使是 4bit 量化的 30B 模型，仍有约 20GB 之多，需要关注一下磁盘空间。

3. 启动 API Server

mlxk server --host 127.0.0.1 --port 8000

在 Zed 中使用本地模型

1. 更改 Zed 设置

  "language_models": {
    "openai_compatible": {
      "xlm": {
        "api_url": "http://localhost:8000/v1",
        "available_models": [
          {
            "name": "mlx-community/Qwen3-Coder-30B-A3B-Instruct-4bit",
            "display_name": "Qwen3 Coder",
            "max_tokens": 32768,
            "capabilities": {
              "tools": true,
              "images": false,
              "parallel_tool_calls": false,
              "prompt_cache_key": false
            }
          }
        ]
      }
    }
  }

2. 设置环境变量重新启动 Zed

export XLM_API_KEY=XLM
zed .

3. 使用 XLM Agent

可以看到效果还可以，生成速度也非常的快。后面再写一个搭配 context7 MCP 的吧