2025年5月7日，Y Combinator 夏季 2026 批次（S26）孵化项目 Coasty 正式发布其首款产品——Coasty API，这是一个专为“计算机使用代理”（computer-use agents）设计的新型应用程序接口。该API能够让AI代理像人类一样直接操作计算机界面：移动鼠标、点击按钮、输入文字、浏览网页、操作桌面软件等，无需任何预先集成的API或结构化数据接口。Coasty 的发布标志着AI从“思考者”向“行动者”的跨越迈出了关键一步。

从“读屏幕”到“用电脑”

当前，大多数AI代理依赖于文本API或结构化数据接口来与软件交互。例如，一个订票Agent需要通过航司API查询航班、调用支付接口完成下单。但这种模式在应对老旧系统、桌面软件、无API的Web应用时显得力不从心。Coasty 的核心理念是让AI代理回归人类最原始的操作方式——通过视觉识别屏幕、模拟键盘和鼠标操作，从而实现对任意计算机软件的操控。

Coasty API 提供了一组简洁的RESTful端点，开发者只需上传屏幕截图，API便返回一个“操作指令列表”，包括鼠标移动坐标、点击坐标、键盘输入内容等。Agent可以连续调用API，形成“观察-思考-操作”的循环，最终完成复杂任务。

技术原理：视觉理解与精细控制

Coasty 基于多模态大模型（视觉-语言模型）构建，其模型在数百万小时的屏幕录制数据上进行了训练，学会了理解常见的图形用户界面（GUI）元素：按钮、输入框、下拉菜单、滚动条、滑动条等。与传统的UI自动化脚本（如Selenium、AutoIt）不同，Coasty不需要依赖DOM结构或控件ID，而是通过像素级视觉解析实现“零集成”操控。

具体而言，Coasty API 的调用流程如下： 1. 截图上传：Agent截取当前屏幕（或特定窗口）的截图，以Base64字符串发送给Coasty。 2. 目标描述：用户以自然语言描述任务目标，例如“在搜索框中输入‘YC S26’并按回车”。 3. 动作生成：Coasty返回一个JSON动作序列，例如 [{"action":"mouse_move","x":450,"y":320},{"action":"click","button":"left"},{"action":"type_text","text":"YC S26"},{"action":"key_press","key":"enter"}]。 4. 循环执行：Agent依次执行动作，然后再次截图，重复步骤，直至任务完成或遇到错误。

为了确保操作精度，Coasty 引入了动态坐标校准机制：即使窗口大小或分辨率发生变化，模型也能根据上下文重新定位元素。此外，Coasty支持多显示器、虚拟桌面以及容器化环境（如Windows远程桌面、Docker内的Linux桌面），适用于云上大规模自动化。

应用场景：从办公自动化到AI训练数据

Coasty 的发布立即引发了行业关注。其潜在应用场景包括：

  • 企业流程自动化：处理发票录入、ERP系统操作、CRM数据迁移等遗留系统任务，无需厂商提供API。
  • 软件测试：自动化测试桌面软件或Web应用的UI交互流程，尤其适用于跨平台应用。
  • AI训练数据生成：通过模拟人类操作，为多模态模型生成海量的“屏幕截图-操作”对训练数据。
  • 个人助理：让AI接管日常电脑操作，如整理邮件、下载文件、填写表单等。
  • 数字员工：在远程桌面环境中部署Coasty Agent，充当无需休息的虚拟员工。

据Coasty创始人兼CEO王杰介绍，其团队在开发初期就收到了多家金融和医疗机构的咨询。这些机构拥有大量基于Windows的桌面应用程序，由于安全或合规原因无法开放API，但迫切希望通过AI实现自动化。“一位银行CTO告诉我，他们有一款1995年开发的信贷审批软件，至今仍在用，没有API，也无法替换。Coasty 可能是唯一的解决方案。”王杰表示。

团队与融资

Coasty 的创始团队来自硅谷和中国两地。CEO王杰此前在OpenAI从事多模态模型研究，CTO李思远则是UI自动化领域连续创业者，曾创办基于计算机视觉的测试平台。公司于2025年3月完成Y Combinator S26批次孵化，并获得由A Capital领投的300万美元种子轮融资。

“我们并不打算取代传统的API调用方式，”王杰强调，“Coasty是API的补充——当不存在API时，或者当操作目标是一个人类的物理界面时，Coasty才发挥作用。我们让AI拥有了‘最后一公里’的行动能力。”

挑战与争议

不过，Coasty 并非没有隐忧。首先，视觉操作的方式天然存在“不确定性”：按钮外观可能因系统主题、字体缩放、高DPI设置而不同；动画、对话框可能打乱坐标计算。Coasty团队表示，其模型已内置“失败重试”和“上下文恢复”逻辑，但极端场景下仍可能出错。

其次，安全与隐私问题首当其冲。Coasty API需要访问用户屏幕截图和键盘输入，这涉及敏感信息。Coasty承诺所有数据在传输和存储过程中均经过加密，且用户可自行选择数据保留策略。但企业客户仍可能对“将桌面截图发送至云端”持谨慎态度。为此，Coasty 也提供本地部署版（私有化方案），模型以ONNX格式打包，运行在客户自己的GPU服务器上。

此外，自动化操作可能违反某些软件的服务条款（如网站禁止爬虫、游戏禁止脚本）。Coasty在文档中明确要求用户遵守相关法规，并建议仅在自有设备或授权系统上使用。

未来展望

Coasty 计划在接下来几个月内推出“Agent SDK”，让开发者能够用Python或JavaScript快速构建一个具备“视觉-操作”循环的自主Agent。同时，团队正在训练新一代模型，使之能够理解更复杂的UI状态机（如多步骤表单、模态对话框嵌套），并支持手势操作（触摸屏、触控板）。

“想象一下，未来的AI不仅会写代码、画图，还会帮你点外卖、填Excel表格、迁移数据、甚至帮你玩游戏。”王杰笑着说，“Coasty就是让AI拥有‘手’的第一步。”

对于开发者来说，Coasty 提供了一个前所未有的工具：让你的Agent不再只是“会说”，还能“会做”。或许很快，我们就会看到无数基于Coasty的智能自动化方案涌现——从个人桌面助手到企业级数字员工，一个全新的“操作时代”即将开启。