科学工具
科学工具让世界更美好
让世界更美好

macOS-use 使用 AI 操控 macOS 应用

macOS-use能让AI代理与你的MacBook交互,你告诉它要做什么,它就能完成——无论在哪个应用里。

macOS-use能执行复杂任务,例如进行计算、处理在线登录(包括OAuth服务),进行网络查询,能极大地提升用户体验和自动化能力。macOS-use能够跨越不同应用进行操作,通过Apple的MLX框架实现本地私有推理,最终目标是扩展其能力至iPhone和iPad等所有Apple设备,构建一个统一的AI操作平台。

macOS-use安装

用pip安装:

pip install mlx-use

从GitHub安装: 1、先克隆仓库

git clone https://github.com/browser-use/macOS-use.git && cd macOS-use

2、别忘设置API密钥 支持的提供商:OAI、Anthropic、Gemini(deepseek R1即将支持)。目前,macOS-use与OAI或Anthropic API配合最佳,Gemini虽免费且表现不错,但可靠性稍逊。

cp .env.example .env
open ./.env

3、推荐用uv环境

brew install uv && uv venv && source .venv/bin/activate

4、本地安装后就能使用,试试第一个示例:

uv pip install --editable 、&& python examples/try.py

比如输入:open the calculator app(打开计算器应用)

演示示例

点击GIF可查看完整视频!

• 提示:Calculate how much is 5 X 4 and return the result, then call done.(计算5乘4的结果并返回,然后调用done)

对应脚本:python examples/calculate.py

• 提示:Go to auth0.com, sign in with google auth, choose ofiroz91 gmail account, login to the website and call done when you finish.(前往auth0.com,用谷歌账号登录,选择ofiroz91@gmail账号,登录网站后调用done)

对应脚本:python examples/login_to_auth0.py

• 提示:Can you check what hour is Shabbat in israel today? call done when you finish.(查询今天以色列的安息日时间,完成后调用done)

对应脚本:python examples/check_time_online.py

支持本地小模型推理

• 增加用mlx和mlx-vlm进行本地模型推理的支持

• 微调小型模型,让每台设备都能运行推理

• 达到SOTA可靠性