产品
产品依据它们的官方文档审阅,文档的抓取和固定版本见论文如何使用 HALO。如果产品公开了代码,也一并审阅代码。论文的通路与证据表里有 6 个产品。
| 系统 | S→M | M→A | A→S | M→S | A→M | 记录 | 结果 | 归因 | 修订 | 后续使用 |
|---|---|---|---|---|---|---|---|---|---|---|
| 可穿戴 | ||||||||||
| Omi代码 | ● | ● | ● | ● | ● | ● | · | · | · | · |
| Bee | ● | ● | ◐ | ◐ | ● | ● | ● | · | · | · |
| 实体 | ||||||||||
| ElliQ | ● | ● | ● | ◐ | ◐ | · | · | · | · | · |
| 数字 | ||||||||||
| Dot | ● | ● | ● | ● | ● | ● | ● | ● | · | · |
| Muse | ● | ● | ● | ◐ | ● | ● | · | · | · | · |
| EAIA代码 | ● | ● | ● | ◐ | ● | ● | ● | ● | ● | · |
| 已报告 / 已陈述(共 6 项) | 6 | 6 | 5 | 2 | 5 | 5 | 3 | 2 | 1 | 0 |
通路:● 已报告 ◐ 信息不足以判断 ○ 明确不存在。证据步骤:● 来源中已陈述 · 未陈述。
表格说明了什么
Section titled “表格说明了什么”- 每个产品都在文档里写了记忆。 6 个产品都报告了 S→M 和 M→A。
- 文档很少说明记忆如何影响产品注意到什么。 6 个产品中有 4 个的 M→S 信息不足。
- 很少有产品在文档里写明自己的反馈闭环。 5 个保存了自己行动的记录,3 个保存了结果,2 个把结果和对应的决策联系起来。EAIA 是唯一陈述了修订的产品:它会根据用户的修改重写自己的提示词。没有任何产品的资料报告过在修订后的机制下运行。
运行模式:EAIA
Section titled “运行模式:EAIA”EAIA 是一个 L4 的邮件助手,代码已公开,所以运行模式可以测试它的证据链。它通过一个叫“反思”的步骤,根据用户对草稿的修改来修订自己的提示词。在论文的测试中,一个带有 5 项未说明偏好的模拟用户修改了 5 封邮件的草稿,之后用 4 封新邮件检查这些偏好能否延续下去。EAIA 分别运行在 GPT-6-Astra、GPT-6.1-Sol 和 Claude Opus 5.5 上,每种条件运行 2 次。只要对至少一个模型,在 8 次比较中至少有 5 次更偏好未修改的运行,就算这次测试改变了输出。
| 在学习阶段切断 | 结果 |
|---|---|
| 记录:反思看不到助手的提问和草稿 | 不同模型之间的影响不太一致 |
| 结果:用户的反馈不交给反思 | 3 个模型都丢掉了要求的结尾署名,合作类回复也不再提到指定的同事 |
| 归因:反馈和上一封邮件的记录配对 | 不同模型之间的影响不太一致 |
| 修订和后续使用:生成了修订后的提示词,但不保存 | 和不给反馈时同样的缺失 |
只读模式没有标记后续使用,因为 EAIA 的资料里没有报告过能证明它的运行。运行模式补上了这条证据:在复现的配置里,之后的回复依赖于保存下来的修订。
插件用在实际运行的产品上
Section titled “插件用在实际运行的产品上”大多数产品不公开代码,所以运行模式无法在内部切断。插件转而跟随一个正在运行的产品。到目前为止,它已经接入了论文中的 3 个产品:一个 ChatGPT dot、Grok Bot 和 Claude Cowork。论文中的产品列出了 HALO 能以什么方式接入其余每个产品。