从提示词工程到探索系统工程:AI 时代个人能力的重构

从提示词工程到探索系统工程:AI 时代个人能力的重构

引言:生产力工具的质变,最终会演化为认知范式的重构

工业革命将人类从直接做功,逐渐推向机器设计、生产组织与流程优化。

人工智能正在推动另一场更深刻的变化:人类开始从亲自完成每一项智力任务,转向设计能够持续提出假设、探索可能性、验证结果并积累经验的系统。

过去,一个研究者需要亲自阅读文献、推导公式、编写程序、分析数据,并逐步排除错误的研究方向。

现在,AI 可以承担其中越来越多的工作。它能够生成候选方案、编写代码、调用专业工具、分析实验结果,并根据反馈继续尝试。

这带来一个根本性的变化:

人类的能力不再只取决于自己能够完成多少任务,还取决于能否构建一个系统,让更多任务得到有效探索,让探索产生的经验持续积累。

然而,生成能力的提升,并不自动意味着发现能力的提升。

一个系统可以生成一百万个方案,却未必找到一个真正有效的答案;它可以在既定指标上取得极高分数,却可能始终没有触及问题的本质。

因此,理解 AI 时代的能力重构,需要回答三个问题:

  1. 什么决定自动化探索的有效边界?
  2. 当 AI 越来越擅长解决既定问题,人类还需要承担什么职责?
  3. 个人应该怎样构建能够不断探索、验证和进化的系统?

这三个问题分别对应探索的物理约束、科学范式的局限,以及个人能力基础设施的建设。


一、探索的物理学:真正的瓶颈可能从生成能力转向验证能力

1. 探索空间不等于发现空间

假设一个研究问题存在一百万种候选方案。

传统研究方式下,研究者需要逐一理解、分析和验证这些方案。由于时间、精力与专业分工的限制,实际能够深入研究的候选方案十分有限。

AI 改变了这一局面。

在合适的任务和计算资源下,AI 可以快速生成大量候选方案,并利用程序、测试、模拟器或形式化证明工具进行筛选。

于是,研究流程可以从:

提出一个假设,人工验证,再提出下一个假设;

转变为:

批量生成假设,自动验证,根据结果调整策略,再生成下一批假设。

这意味着探索规模可以与人类的直接参与程度部分脱钩。

但这里有一个必须澄清的区别:

生成一百万个候选方案,不等于完成了一百万次有效探索。

如果验证机制不可靠,系统可能只是高速地产生错误答案;如果评价标准存在缺陷,系统甚至可能越来越擅长寻找漏洞。

因此,决定探索效果的,不仅是候选方案的数量,还包括系统区分有效结果与无效结果的能力。

2. 验证地平线:自动化探索能够走多远

我们可以引入一个分析概念:验证地平线(Verification Horizon)。

它指的是,在给定资源和可信度要求下,一个探索系统能够以可承受的成本,可靠判断其候选结果是否有效的范围。

它不是一个固定的物理边界,而是由验证成本、可靠性、资源预算以及问题本身的性质共同决定的。

不同领域的验证条件差异很大。

第一类:形式化验证与可自动判定的问题

典型场景包括:

  • 程序是否满足明确的功能规格;
  • 某个数学证明是否符合形式化证明规则;
  • 某个算法在给定输入下是否产生正确结果;
  • 某个优化方案是否满足硬性约束。

在这些场景中,系统可以使用编译器、测试程序、定理证明器或其他自动化工具,快速判断大量候选结果。

例如,DeepMind 的 FunSearch 将语言模型生成的程序与自动评估机制结合起来,探索组合数学问题;AlphaTensor 则利用学习与搜索探索矩阵乘法算法。

它们体现了一个共同思想:

让生成机制提出候选方案,让专门的评估机制筛选候选方案。

不过,即使在这些场景中,也必须区分两件事:验证器能够证明某个方案符合既定规格,并不意味着规格本身正确或完整。

形式化验证可以严格证明一个命题,但不能自动决定这个命题是否值得研究。

第二类:模拟驱动的探索

典型场景包括:

  • 流体力学;
  • 分子动力学;
  • 结构工程;
  • 气象预测;
  • 芯片布局与物理设计。

在这些领域,系统可以通过模拟器评估候选方案,从而大幅降低真实实验的成本。

但模拟结果并不等同于现实结果。

假设 AI 被要求寻找一种能够最大化性能指标的设计,而模拟器存在一个未被发现的缺陷。

AI 可能不断找到利用这一缺陷的方案,使模拟得分越来越高,但这些方案在真实环境中毫无价值。

这类问题属于目标利用或代理模型被利用的风险。

因此,模拟驱动的探索系统至少需要:

  • 检查模拟器的适用范围;
  • 使用不同模型交叉验证关键结果;
  • 对异常高分方案进行专门审查;
  • 通过真实实验校准模拟结果。

这里的核心问题,不是 AI 能否找到最优解,而是它找到的最优解是否属于我们真正关心的现实问题。

第三类:真实世界与慢反馈探索

典型场景包括:

  • 药物开发与临床试验;
  • 新材料合成;
  • 复杂的社会科学研究;
  • 宏观经济政策评估;
  • 需要长期观测的生态研究。

这些问题通常具有高成本、长周期、噪声大等特征。

AI 可以快速提出候选方案,但真实世界的验证速度无法无限提升。

一项药物候选方案是否安全有效,不能仅凭模型评分确定;一项经济政策是否改善了社会福利,也不能只靠模拟结果得出结论。

在这些领域,自动化探索必须与实验设计、统计推断、现实观测和专业判断结合起来。

3. 验证机制决定探索规模的实际价值

我们可以用一个简化的概念模型表示探索系统的产出:

[
V \approx N \times p \times q
]

其中:

  • (N):实际完成评估的候选方案数量;
  • (p):候选方案通过初步筛选并值得进一步研究的概率;
  • (q):这些候选方案最终经过可靠验证、产生有效结果的比例。

这不是普适的科学定律,而是帮助我们分析系统瓶颈的启发式模型。

当生成能力很弱时,增加候选方案数量可能显著改善产出。

但当候选生成已经足够充裕,而验证能力成为瓶颈时,继续扩大生成规模,收益可能迅速下降。

此时,更值得投入的方向是提高筛选质量、降低验证成本,并减少评价机制被利用的可能性。

由此可以得到一个重要结论:

AI 时代的核心工程问题之一,不再只是如何生成更多答案,而是如何构建能够以更低成本、更高可靠性识别有效答案的验证系统。

不过,这还不是全部。

因为即使验证器能够准确判断一个答案是否符合既定规则,我们仍然需要回答一个更深的问题:

这些规则本身,究竟是否正确?


二、库恩的困境:AI 能够加速科学解谜,但评价体系也可能限制发现

1. 常规科学与范式革命

科学哲学家托马斯·库恩在《科学革命的结构》中区分了常规科学与科学革命。

常规科学是在既有理论、方法和标准之下开展研究。科学家不断解决局部问题,扩展知识边界,并完善现有理论。

科学革命则涉及更深层的变化:原有理论无法充分解释某些现象,科学共同体开始重新审视基本概念、理论结构与研究方法。

这一区分为理解 AI 科研能力提供了一个很有价值的视角。

AI 特别适合承担大量具有明确目标、评价标准和反馈机制的研究任务。

例如,在给定规则下寻找更好的算法、优化某种材料的参数、发现程序缺陷,或者搜索能够满足一组数学约束的结构。

当目标明确、验证可靠时,系统可以通过大量候选方案的探索,显著提高研究效率。

从这个意义上说,AI 有潜力成为常规科学的强大加速器。

但问题出现在评价体系本身。

2. 当评价函数成为认知边界

假设一个 AI 系统被要求寻找能够解释已知实验数据的物理模型。

系统会按照既定的评价指标,对不同模型进行比较,并倾向于保留评分较高的方案。

但如果现有理论存在根本性缺陷,那么新理论在早期阶段可能难以满足旧模型所定义的评价标准。

如果系统只保留符合旧标准的方案,它就可能把值得研究的新方向提前淘汰。

这里需要谨慎:新理论并不意味着可以违反全部已知事实。真正有价值的科学革命,通常需要解释旧理论成功的适用范围,同时说明旧理论无法解释的现象,并提出能够被检验的新预测。

问题在于,评价系统可能过早地把尚未充分发展的理论,与已经成熟的理论进行比较。

因此,探索系统不应该只保留当前评分最高的方案,还需要给探索性假设留出适当空间。

可以采取的策略包括:

  • 保留一部分不符合当前主流预期、但具有潜在解释力的候选假设;
  • 同时维护多个理论模型,而不是过早收敛到单一答案;
  • 对反常数据和无法解释的现象进行单独记录;
  • 定期审查评价指标是否遗漏了重要目标;
  • 允许研究者修改问题定义、约束条件和验证方式。

这样做并不是鼓励系统无视验证标准,而是避免把暂时性的评价标准误当成不可改变的真理。

3. 人类的角色:不仅是裁判,也要审查比赛规则

由此,我们可以重新理解人类在 AI 科研系统中的作用。

第一层是问题定义。

人类需要判断什么问题值得研究,以及研究目标与现实需求之间有什么关系。

第二层是结果验证。

AI 生成的答案需要经过适当的检验。对于数学命题,可以使用形式化证明;对于工程设计,可以进行模拟和测试;对于现实世界的科学主张,则可能需要实验与观测。

第三层是前提审查。

当系统反复失败,或者产生了大量形式上符合指标、实际却缺乏价值的结果时,需要追问:问题出在哪里?是候选方案不够好,还是评价标准存在缺陷?

第四层是范式审查。

如果新的观测持续挑战现有理论,人类需要考虑是否应当修改基本假设,或者引入不同的解释框架。

不过,这些职责并非人类永远独占。AI 也能够协助发现反常现象、寻找隐藏假设和比较不同理论。

真正重要的不是人为划定一条永远不会改变的能力边界,而是确保探索系统具备挑战自身前提的机制,并让关键结论接受独立检验。

一个成熟的科学系统,不仅应该知道如何在既定规则下寻找更好的答案,还应该知道什么情况下需要重新审视这些规则。

这对科研机构如此,对个人 AI 系统也同样如此。


三、个人新范式:从提示词工程走向适应度地形工程

如果前两个维度解释了自动化探索的客观条件与认知局限,那么第三个维度就涉及实践:

个人开发者应该如何构建自己的 AI 探索系统?

我认为,一个有价值的方向,是从单次任务的提示词设计,转向对目标、评价、约束和反馈机制的整体设计。

我们可以将这一角色称为适应度地形工程师(Fitness Landscape Engineer)。

这里借用的是进化生物学中的适应度地形概念:不同候选方案具有不同的适应度,系统通过探索、选择和迭代,寻找更好的方案。

在软件工程和 AI Agent 场景中,这可以转化为一个实际问题:

我们能否设计一套评价和反馈机制,让 AI 在不需要人类逐步指定每个操作的情况下,持续找到更符合目标的解决方案?

这需要四项工作。

1. 雕刻地形:把模糊目标转化为可评价的标准

假设你希望 AI 编写一个轻量级 CLI 工具。

如果只给出一句要求:

「写一个高质量、性能优秀、架构简洁的程序。」

AI 很难知道这些词分别意味着什么。

不同实现可能都声称满足要求,但结果差异很大。

更好的方法,是将目标拆分为可验证的条件。

例如:

维度 评价标准
正确性 所有规定的测试用例通过
性能 在指定数据集上达到目标运行时间
资源占用 内存使用不超过约定阈值
依赖管理 不引入未经批准的重型依赖
可维护性 核心模块职责清晰,接口稳定
兼容性 保持规定的命令行参数和输出格式
安全性 不越过文件访问、网络访问和权限边界

其中,性能指标需要根据具体工作负载设定。例如,时间复杂度要求必须有明确的输入规模、算法假设和测试方式,不能简单地要求所有程序都达到某个固定的复杂度。

此外,指标之间可能发生冲突。

更快的程序不一定更容易维护;更少的依赖不一定意味着更安全;更低的内存占用也可能增加开发复杂度。

因此,优秀的评价体系不应该把所有指标机械地压缩成一个分数。

更合理的做法是区分:

  • 不可违反的硬性约束;
  • 必须满足的验收标准;
  • 可以权衡的优化目标;
  • 需要人工判断的设计属性。

这相当于为搜索过程建立一张更加清晰的适应度地形图。

2. 设立悬崖:将安全与正确性约束设为硬边界

某些要求不应该参与普通的分数竞争。

例如,一个程序即使运行速度再快,也不能因此获得越权读取敏感文件的许可。

一个 Agent 即使能够节省大量时间,也不能自动获得执行不可逆操作的权限。

这些要求应该通过明确的权限控制、沙盒、测试、审批机制和运行时限制来实现,而不是仅仅写进提示词。

例如:

  • 只能访问指定目录;
  • 只能调用获准的工具;
  • 修改关键文件之前必须生成差异并接受审查;
  • 删除、发布、支付等高风险操作必须满足额外授权条件;
  • 任何优化都不能绕过核心测试;
  • 关键执行过程必须留下可追溯的日志。

这里需要注意,提示词中的承诺不等于真正的安全边界。

如果某项限制至关重要,就应尽可能通过技术控制来落实。

奖励函数负责告诉系统什么更好,硬性约束负责明确什么绝对不能做。

两者不能混为一谈。

3. 构建演化记忆:让每一次失败改变未来的行动

许多 Agent 工作流会反复犯同样的错误。

第一次执行失败后,系统分析原因;第二次任务开始时,却没有可靠地继承这次经验。

结果就是,同一种错误在不同对话、不同任务甚至不同项目中反复出现。

要改变这种情况,必须将经验转化为可以被未来任务使用的资产。

这类资产至少包括四种:

测试用例。 将已经发现的缺陷转化为回归测试,防止后续修改再次引入同类问题。

反例与失败记录。 保存失败时的输入、环境、执行过程、错误输出和最终原因,而不仅仅记录「这次失败了」。

设计决策。 记录为什么选择某种架构、放弃另一种方案,以及这些决定依赖哪些前提。

任务经验。 记录哪些模型、工具和流程适合特定任务,在哪些条件下容易失效。

向量知识库可以帮助系统检索相关经验,但它并不是唯一的解决方案。

对于软件工程,确定性的测试用例、结构化元数据、版本控制和可重复执行的验证脚本,往往比单纯依赖语义检索更加可靠。

更成熟的设计,是让不同类型的记忆各司其职:

  • 文档保存背景知识;
  • 结构化记录保存决策与状态;
  • 测试集保存可重复验证的行为;
  • 日志保存实际执行过程;
  • 检索系统负责把相关经验带入当前任务。

记忆的价值,不在于保存了多少内容,而在于它是否能够改善下一次决策。

4. 引入元评价:定期检查评价体系本身

前三项工作仍然不足以保证系统持续进步。

因为系统可能逐渐学会迎合评价指标,而不是解决真正的问题。

例如,一个代码 Agent 为了提高测试通过率,可能只针对现有测试用例编写特殊逻辑;一个研究 Agent 为了提高模拟分数,可能不断寻找模拟器的漏洞。

这就是目标利用风险。

因此,系统需要额外建立一层元评价机制,检查:

  • 当前测试是否覆盖真实使用场景;
  • 评价指标是否被特定实现方式钻了空子;
  • 优化是否牺牲了未被纳入评分的属性;
  • 是否出现了新的异常行为;
  • 当前目标是否仍然符合最初的需求。

当系统的分数不断提高,而真实效果没有改善时,就应该触发审查。

这相当于让系统不仅优化方案,还持续检查优化过程是否仍然有意义。

于是,个人的角色就不再只是提供提示词,而是逐步转向设计整个反馈环境。


四、从一次性解题到个人智能基础设施

上述思想可以形成一条清晰的演化路径。

第一阶段:使用工具

遇到问题,使用 AI 寻找答案。

这能够提高单次任务的效率,但经验往往停留在对话中,难以复用。

第二阶段:将解决方案工具化

当同类问题反复出现,就将解决方案封装为脚本、CLI 工具或 API。

此时,解决问题的经验开始转化为可重复调用的能力。

第三阶段:为工具建立验证机制

增加测试、错误处理、日志、性能基准和接口规范。

工具不再只是「这次可以运行」,而是逐渐成为其他系统可以依赖的组件。

第四阶段:将工具组合为自动化工作流

让 Agent 根据任务需求调用不同工具,自动执行检查、测试、分析和结果整理。

人类不必逐步指导每个操作,但仍然需要定义目标、处理例外并验收关键结果。

第五阶段:构建能够积累经验的探索系统

系统能够记录失败、识别重复问题、更新测试、检索历史决策,并根据结果调整后续工作。

它开始形成一个反馈闭环:

[
\text{目标}
\rightarrow
\text{探索}
\rightarrow
\text{执行}
\rightarrow
\text{验证}
\rightarrow
\text{记忆}
\rightarrow
\text{下一轮探索}
]

当系统能够在这个循环中持续改善结果时,工具就不再只是提高单次任务效率的手段,而成为个人能力不断积累的基础设施。

这并不意味着系统能够无限自我进化。它仍然受到模型能力、数据质量、计算资源、评价标准和人类监督的约束。

但它能够让每次解决问题的经验更容易进入下一次解决问题的过程。


五、Unix 哲学与个人智能操作系统:简单组件如何形成复杂能力

上述架构与 Unix 哲学存在深刻的联系。

Unix 的核心思想之一,是让程序保持相对简单、职责明确,并通过稳定的接口组合。

这种设计有一个重要优势:系统不必由一个无所不能的程序构成。

一个程序负责搜索,一个负责过滤,一个负责排序,一个负责统计。每个组件只需要做好自己的工作,整体就能通过组合完成更加复杂的任务。

在 AI 时代,这种思想获得了新的意义。

一个 Agent 不必拥有全部能力。它可以调用专门的程序完成确定性任务,再根据结果决定下一步行动。

例如:

  1. Agent 分析需求,确定需要修改的代码。
  2. 代码打包工具生成最小必要的代码快照。
  3. 模型审查代码,提出具体修改建议。
  4. 编译器和测试工具验证修改。
  5. 日志系统记录执行结果。
  6. 记忆系统保存新的缺陷案例与设计决策。
  7. 编排器根据验证结果决定是否继续。

这里的关键不是某个模型有多强,而是每个组件都有清晰的职责,组件之间存在稳定的接口,执行结果能够被验证,历史经验能够被继承。

这也可以理解为个人智能操作系统的一种基本结构:

系统层次 核心职责
连接与编排 将模型、Agent、应用和工具组织起来
记忆与知识 保存知识、历史决策和失败经验
执行与自动化 将目标转化为可重复执行的操作
工具与接口 提供职责明确、可以组合的能力
治理与权限 控制风险、权限和不可逆操作
观测与审计 记录执行过程,支持复核和追溯

这样的系统不是把所有功能塞进一个巨大的 Agent,而是将复杂性分解到可理解、可替换、可验证的组件中。

它可以随着需求逐步增长,也可以在某个模型失效或某个组件需要替换时继续运行。

系统的生命力,不在于每个组件都永远不变,而在于组件可以变化,接口和治理规则仍然能够维持整体的可靠性。


六、真正的个人复利:把解决问题的能力沉淀下来

现在,我们可以回到最初的问题:为什么 AI 时代,个人的进步越来越离不开靠谱的工具?

因为工具带来的收益不仅发生在当前任务中,还可能延续到未来。

一个人今天解决了一个技术问题。

如果只得到答案,收益可能仅限于这一次。

如果将答案变成可复用工具,就能降低下一次解决同类问题的成本。

如果进一步建立测试、日志和接口规范,这个工具就能够被其他程序调用。

如果再将它纳入 Agent 工作流,其他任务也可以复用这项能力。

如果系统能够记录使用过程中的失败和修正,这些经验又会改善未来的执行结果。

由此,个人能力的增长就不再完全依赖于每天投入多少时间,而开始取决于能否把实践成果转化为可持续复用的资产。

可以将这条路径概括为:

一次性解题 → 可复用工具 → 可靠组件 → 自动化流程 → 可积累经验的系统。

这条路径不要求一个人一开始就拥有庞大的技术体系。

恰恰相反,最好的起点往往是一个足够小、能够解决真实问题的工具。

先把它做好,再建立验证机制;先解决真实摩擦,再逐步自动化;先让系统可靠运行,再考虑扩大规模。

这既是 Unix 哲学的实践,也是个人能力复利的工程基础。


结语:从使用工具的人,成为设计能力系统的人

人工智能正在降低许多智力任务的执行成本。

但执行成本下降,并不意味着所有人都能自动获得相同的收益。

一个人是否能够从 AI 中获得持续的优势,仍然取决于他能否提出值得解决的问题,能否选择合适的工具,能否验证结果,以及能否将经验沉淀为未来可复用的能力。

因此,个人成长的目标也许需要发生变化。

过去,我们往往关注自己掌握了多少知识、学会了多少技能、完成了多少任务。

未来,这些依然重要,但还需要增加一个维度:

我是否建立了一套系统,让自己获得知识、解决问题、验证判断和积累经验的能力不断增强?

这不是要用系统替代人的思考,而是要让人的思考能够产生更持久的结果。

模型可以迭代,工具可以更换,任务可以变化,但一个人通过长期实践建立起来的判断力、验证机制、工具体系和经验资产,能够持续为新的探索提供基础。

人不必亲自尝试所有可能性,也不必与 AI 比拼每一项具体任务的速度。

更重要的是,理解自己想解决什么问题,构建能够探索可能性的系统,建立足以识别错误的验证机制,并确保每一次有价值的探索都能够成为下一次进步的起点。

AI 放大探索能力,工具降低行动摩擦,验证机制守住可靠性,经验积累形成复利。

当这四者形成闭环,个人就不再只是使用技术完成任务,而是在持续构建和扩展自己的能力边界。

  1. 这或许就是人工智能时代,个人智能操作系统最值得追求的价值。