从提示词工程到探索系统工程:AI 时代个人能力的重构
引言:生产力工具的质变,最终会演化为认知范式的重构
工业革命将人类从直接做功,逐渐推向机器设计、生产组织与流程优化。
人工智能正在推动另一场更深刻的变化:人类开始从亲自完成每一项智力任务,转向设计能够持续提出假设、探索可能性、验证结果并积累经验的系统。
过去,一个研究者需要亲自阅读文献、推导公式、编写程序、分析数据,并逐步排除错误的研究方向。
现在,AI 可以承担其中越来越多的工作。它能够生成候选方案、编写代码、调用专业工具、分析实验结果,并根据反馈继续尝试。
这带来一个根本性的变化:
人类的能力不再只取决于自己能够完成多少任务,还取决于能否构建一个系统,让更多任务得到有效探索,让探索产生的经验持续积累。
然而,生成能力的提升,并不自动意味着发现能力的提升。
一个系统可以生成一百万个方案,却未必找到一个真正有效的答案;它可以在既定指标上取得极高分数,却可能始终没有触及问题的本质。
因此,理解 AI 时代的能力重构,需要回答三个问题:
- 什么决定自动化探索的有效边界?
- 当 AI 越来越擅长解决既定问题,人类还需要承担什么职责?
- 个人应该怎样构建能够不断探索、验证和进化的系统?
这三个问题分别对应探索的物理约束、科学范式的局限,以及个人能力基础设施的建设。
一、探索的物理学:真正的瓶颈可能从生成能力转向验证能力
1. 探索空间不等于发现空间
假设一个研究问题存在一百万种候选方案。
传统研究方式下,研究者需要逐一理解、分析和验证这些方案。由于时间、精力与专业分工的限制,实际能够深入研究的候选方案十分有限。
AI 改变了这一局面。
在合适的任务和计算资源下,AI 可以快速生成大量候选方案,并利用程序、测试、模拟器或形式化证明工具进行筛选。
于是,研究流程可以从:
提出一个假设,人工验证,再提出下一个假设;
转变为:
批量生成假设,自动验证,根据结果调整策略,再生成下一批假设。
这意味着探索规模可以与人类的直接参与程度部分脱钩。
但这里有一个必须澄清的区别:
生成一百万个候选方案,不等于完成了一百万次有效探索。
如果验证机制不可靠,系统可能只是高速地产生错误答案;如果评价标准存在缺陷,系统甚至可能越来越擅长寻找漏洞。
因此,决定探索效果的,不仅是候选方案的数量,还包括系统区分有效结果与无效结果的能力。
2. 验证地平线:自动化探索能够走多远
我们可以引入一个分析概念:验证地平线(Verification Horizon)。
它指的是,在给定资源和可信度要求下,一个探索系统能够以可承受的成本,可靠判断其候选结果是否有效的范围。
它不是一个固定的物理边界,而是由验证成本、可靠性、资源预算以及问题本身的性质共同决定的。
不同领域的验证条件差异很大。
第一类:形式化验证与可自动判定的问题
典型场景包括:
- 程序是否满足明确的功能规格;
- 某个数学证明是否符合形式化证明规则;
- 某个算法在给定输入下是否产生正确结果;
- 某个优化方案是否满足硬性约束。
在这些场景中,系统可以使用编译器、测试程序、定理证明器或其他自动化工具,快速判断大量候选结果。
例如,DeepMind 的 FunSearch 将语言模型生成的程序与自动评估机制结合起来,探索组合数学问题;AlphaTensor 则利用学习与搜索探索矩阵乘法算法。
它们体现了一个共同思想:
让生成机制提出候选方案,让专门的评估机制筛选候选方案。
不过,即使在这些场景中,也必须区分两件事:验证器能够证明某个方案符合既定规格,并不意味着规格本身正确或完整。
形式化验证可以严格证明一个命题,但不能自动决定这个命题是否值得研究。
第二类:模拟驱动的探索
典型场景包括:
- 流体力学;
- 分子动力学;
- 结构工程;
- 气象预测;
- 芯片布局与物理设计。
在这些领域,系统可以通过模拟器评估候选方案,从而大幅降低真实实验的成本。
但模拟结果并不等同于现实结果。
假设 AI 被要求寻找一种能够最大化性能指标的设计,而模拟器存在一个未被发现的缺陷。
AI 可能不断找到利用这一缺陷的方案,使模拟得分越来越高,但这些方案在真实环境中毫无价值。
这类问题属于目标利用或代理模型被利用的风险。
因此,模拟驱动的探索系统至少需要:
- 检查模拟器的适用范围;
- 使用不同模型交叉验证关键结果;
- 对异常高分方案进行专门审查;
- 通过真实实验校准模拟结果。
这里的核心问题,不是 AI 能否找到最优解,而是它找到的最优解是否属于我们真正关心的现实问题。
第三类:真实世界与慢反馈探索
典型场景包括:
- 药物开发与临床试验;
- 新材料合成;
- 复杂的社会科学研究;
- 宏观经济政策评估;
- 需要长期观测的生态研究。
这些问题通常具有高成本、长周期、噪声大等特征。
AI 可以快速提出候选方案,但真实世界的验证速度无法无限提升。
一项药物候选方案是否安全有效,不能仅凭模型评分确定;一项经济政策是否改善了社会福利,也不能只靠模拟结果得出结论。
在这些领域,自动化探索必须与实验设计、统计推断、现实观测和专业判断结合起来。
3. 验证机制决定探索规模的实际价值
我们可以用一个简化的概念模型表示探索系统的产出:
[
V \approx N \times p \times q
]
其中:
- (N):实际完成评估的候选方案数量;
- (p):候选方案通过初步筛选并值得进一步研究的概率;
- (q):这些候选方案最终经过可靠验证、产生有效结果的比例。
这不是普适的科学定律,而是帮助我们分析系统瓶颈的启发式模型。
当生成能力很弱时,增加候选方案数量可能显著改善产出。
但当候选生成已经足够充裕,而验证能力成为瓶颈时,继续扩大生成规模,收益可能迅速下降。
此时,更值得投入的方向是提高筛选质量、降低验证成本,并减少评价机制被利用的可能性。
由此可以得到一个重要结论:
AI 时代的核心工程问题之一,不再只是如何生成更多答案,而是如何构建能够以更低成本、更高可靠性识别有效答案的验证系统。
不过,这还不是全部。
因为即使验证器能够准确判断一个答案是否符合既定规则,我们仍然需要回答一个更深的问题:
这些规则本身,究竟是否正确?
二、库恩的困境:AI 能够加速科学解谜,但评价体系也可能限制发现
1. 常规科学与范式革命
科学哲学家托马斯·库恩在《科学革命的结构》中区分了常规科学与科学革命。
常规科学是在既有理论、方法和标准之下开展研究。科学家不断解决局部问题,扩展知识边界,并完善现有理论。
科学革命则涉及更深层的变化:原有理论无法充分解释某些现象,科学共同体开始重新审视基本概念、理论结构与研究方法。
这一区分为理解 AI 科研能力提供了一个很有价值的视角。
AI 特别适合承担大量具有明确目标、评价标准和反馈机制的研究任务。
例如,在给定规则下寻找更好的算法、优化某种材料的参数、发现程序缺陷,或者搜索能够满足一组数学约束的结构。
当目标明确、验证可靠时,系统可以通过大量候选方案的探索,显著提高研究效率。
从这个意义上说,AI 有潜力成为常规科学的强大加速器。
但问题出现在评价体系本身。
2. 当评价函数成为认知边界
假设一个 AI 系统被要求寻找能够解释已知实验数据的物理模型。
系统会按照既定的评价指标,对不同模型进行比较,并倾向于保留评分较高的方案。
但如果现有理论存在根本性缺陷,那么新理论在早期阶段可能难以满足旧模型所定义的评价标准。
如果系统只保留符合旧标准的方案,它就可能把值得研究的新方向提前淘汰。
这里需要谨慎:新理论并不意味着可以违反全部已知事实。真正有价值的科学革命,通常需要解释旧理论成功的适用范围,同时说明旧理论无法解释的现象,并提出能够被检验的新预测。
问题在于,评价系统可能过早地把尚未充分发展的理论,与已经成熟的理论进行比较。
因此,探索系统不应该只保留当前评分最高的方案,还需要给探索性假设留出适当空间。
可以采取的策略包括:
- 保留一部分不符合当前主流预期、但具有潜在解释力的候选假设;
- 同时维护多个理论模型,而不是过早收敛到单一答案;
- 对反常数据和无法解释的现象进行单独记录;
- 定期审查评价指标是否遗漏了重要目标;
- 允许研究者修改问题定义、约束条件和验证方式。
这样做并不是鼓励系统无视验证标准,而是避免把暂时性的评价标准误当成不可改变的真理。
3. 人类的角色:不仅是裁判,也要审查比赛规则
由此,我们可以重新理解人类在 AI 科研系统中的作用。
第一层是问题定义。
人类需要判断什么问题值得研究,以及研究目标与现实需求之间有什么关系。
第二层是结果验证。
AI 生成的答案需要经过适当的检验。对于数学命题,可以使用形式化证明;对于工程设计,可以进行模拟和测试;对于现实世界的科学主张,则可能需要实验与观测。
第三层是前提审查。
当系统反复失败,或者产生了大量形式上符合指标、实际却缺乏价值的结果时,需要追问:问题出在哪里?是候选方案不够好,还是评价标准存在缺陷?
第四层是范式审查。
如果新的观测持续挑战现有理论,人类需要考虑是否应当修改基本假设,或者引入不同的解释框架。
不过,这些职责并非人类永远独占。AI 也能够协助发现反常现象、寻找隐藏假设和比较不同理论。
真正重要的不是人为划定一条永远不会改变的能力边界,而是确保探索系统具备挑战自身前提的机制,并让关键结论接受独立检验。
一个成熟的科学系统,不仅应该知道如何在既定规则下寻找更好的答案,还应该知道什么情况下需要重新审视这些规则。
这对科研机构如此,对个人 AI 系统也同样如此。
三、个人新范式:从提示词工程走向适应度地形工程
如果前两个维度解释了自动化探索的客观条件与认知局限,那么第三个维度就涉及实践:
个人开发者应该如何构建自己的 AI 探索系统?
我认为,一个有价值的方向,是从单次任务的提示词设计,转向对目标、评价、约束和反馈机制的整体设计。
我们可以将这一角色称为适应度地形工程师(Fitness Landscape Engineer)。
这里借用的是进化生物学中的适应度地形概念:不同候选方案具有不同的适应度,系统通过探索、选择和迭代,寻找更好的方案。
在软件工程和 AI Agent 场景中,这可以转化为一个实际问题:
我们能否设计一套评价和反馈机制,让 AI 在不需要人类逐步指定每个操作的情况下,持续找到更符合目标的解决方案?
这需要四项工作。
1. 雕刻地形:把模糊目标转化为可评价的标准
假设你希望 AI 编写一个轻量级 CLI 工具。
如果只给出一句要求:
「写一个高质量、性能优秀、架构简洁的程序。」
AI 很难知道这些词分别意味着什么。
不同实现可能都声称满足要求,但结果差异很大。
更好的方法,是将目标拆分为可验证的条件。
例如:
| 维度 | 评价标准 |
|---|---|
| 正确性 | 所有规定的测试用例通过 |
| 性能 | 在指定数据集上达到目标运行时间 |
| 资源占用 | 内存使用不超过约定阈值 |
| 依赖管理 | 不引入未经批准的重型依赖 |
| 可维护性 | 核心模块职责清晰,接口稳定 |
| 兼容性 | 保持规定的命令行参数和输出格式 |
| 安全性 | 不越过文件访问、网络访问和权限边界 |
其中,性能指标需要根据具体工作负载设定。例如,时间复杂度要求必须有明确的输入规模、算法假设和测试方式,不能简单地要求所有程序都达到某个固定的复杂度。
此外,指标之间可能发生冲突。
更快的程序不一定更容易维护;更少的依赖不一定意味着更安全;更低的内存占用也可能增加开发复杂度。
因此,优秀的评价体系不应该把所有指标机械地压缩成一个分数。
更合理的做法是区分:
- 不可违反的硬性约束;
- 必须满足的验收标准;
- 可以权衡的优化目标;
- 需要人工判断的设计属性。
这相当于为搜索过程建立一张更加清晰的适应度地形图。
2. 设立悬崖:将安全与正确性约束设为硬边界
某些要求不应该参与普通的分数竞争。
例如,一个程序即使运行速度再快,也不能因此获得越权读取敏感文件的许可。
一个 Agent 即使能够节省大量时间,也不能自动获得执行不可逆操作的权限。
这些要求应该通过明确的权限控制、沙盒、测试、审批机制和运行时限制来实现,而不是仅仅写进提示词。
例如:
- 只能访问指定目录;
- 只能调用获准的工具;
- 修改关键文件之前必须生成差异并接受审查;
- 删除、发布、支付等高风险操作必须满足额外授权条件;
- 任何优化都不能绕过核心测试;
- 关键执行过程必须留下可追溯的日志。
这里需要注意,提示词中的承诺不等于真正的安全边界。
如果某项限制至关重要,就应尽可能通过技术控制来落实。
奖励函数负责告诉系统什么更好,硬性约束负责明确什么绝对不能做。
两者不能混为一谈。
3. 构建演化记忆:让每一次失败改变未来的行动
许多 Agent 工作流会反复犯同样的错误。
第一次执行失败后,系统分析原因;第二次任务开始时,却没有可靠地继承这次经验。
结果就是,同一种错误在不同对话、不同任务甚至不同项目中反复出现。
要改变这种情况,必须将经验转化为可以被未来任务使用的资产。
这类资产至少包括四种:
测试用例。 将已经发现的缺陷转化为回归测试,防止后续修改再次引入同类问题。
反例与失败记录。 保存失败时的输入、环境、执行过程、错误输出和最终原因,而不仅仅记录「这次失败了」。
设计决策。 记录为什么选择某种架构、放弃另一种方案,以及这些决定依赖哪些前提。
任务经验。 记录哪些模型、工具和流程适合特定任务,在哪些条件下容易失效。
向量知识库可以帮助系统检索相关经验,但它并不是唯一的解决方案。
对于软件工程,确定性的测试用例、结构化元数据、版本控制和可重复执行的验证脚本,往往比单纯依赖语义检索更加可靠。
更成熟的设计,是让不同类型的记忆各司其职:
- 文档保存背景知识;
- 结构化记录保存决策与状态;
- 测试集保存可重复验证的行为;
- 日志保存实际执行过程;
- 检索系统负责把相关经验带入当前任务。
记忆的价值,不在于保存了多少内容,而在于它是否能够改善下一次决策。
4. 引入元评价:定期检查评价体系本身
前三项工作仍然不足以保证系统持续进步。
因为系统可能逐渐学会迎合评价指标,而不是解决真正的问题。
例如,一个代码 Agent 为了提高测试通过率,可能只针对现有测试用例编写特殊逻辑;一个研究 Agent 为了提高模拟分数,可能不断寻找模拟器的漏洞。
这就是目标利用风险。
因此,系统需要额外建立一层元评价机制,检查:
- 当前测试是否覆盖真实使用场景;
- 评价指标是否被特定实现方式钻了空子;
- 优化是否牺牲了未被纳入评分的属性;
- 是否出现了新的异常行为;
- 当前目标是否仍然符合最初的需求。
当系统的分数不断提高,而真实效果没有改善时,就应该触发审查。
这相当于让系统不仅优化方案,还持续检查优化过程是否仍然有意义。
于是,个人的角色就不再只是提供提示词,而是逐步转向设计整个反馈环境。
四、从一次性解题到个人智能基础设施
上述思想可以形成一条清晰的演化路径。
第一阶段:使用工具
遇到问题,使用 AI 寻找答案。
这能够提高单次任务的效率,但经验往往停留在对话中,难以复用。
第二阶段:将解决方案工具化
当同类问题反复出现,就将解决方案封装为脚本、CLI 工具或 API。
此时,解决问题的经验开始转化为可重复调用的能力。
第三阶段:为工具建立验证机制
增加测试、错误处理、日志、性能基准和接口规范。
工具不再只是「这次可以运行」,而是逐渐成为其他系统可以依赖的组件。
第四阶段:将工具组合为自动化工作流
让 Agent 根据任务需求调用不同工具,自动执行检查、测试、分析和结果整理。
人类不必逐步指导每个操作,但仍然需要定义目标、处理例外并验收关键结果。
第五阶段:构建能够积累经验的探索系统
系统能够记录失败、识别重复问题、更新测试、检索历史决策,并根据结果调整后续工作。
它开始形成一个反馈闭环:
[
\text{目标}
\rightarrow
\text{探索}
\rightarrow
\text{执行}
\rightarrow
\text{验证}
\rightarrow
\text{记忆}
\rightarrow
\text{下一轮探索}
]
当系统能够在这个循环中持续改善结果时,工具就不再只是提高单次任务效率的手段,而成为个人能力不断积累的基础设施。
这并不意味着系统能够无限自我进化。它仍然受到模型能力、数据质量、计算资源、评价标准和人类监督的约束。
但它能够让每次解决问题的经验更容易进入下一次解决问题的过程。
五、Unix 哲学与个人智能操作系统:简单组件如何形成复杂能力
上述架构与 Unix 哲学存在深刻的联系。
Unix 的核心思想之一,是让程序保持相对简单、职责明确,并通过稳定的接口组合。
这种设计有一个重要优势:系统不必由一个无所不能的程序构成。
一个程序负责搜索,一个负责过滤,一个负责排序,一个负责统计。每个组件只需要做好自己的工作,整体就能通过组合完成更加复杂的任务。
在 AI 时代,这种思想获得了新的意义。
一个 Agent 不必拥有全部能力。它可以调用专门的程序完成确定性任务,再根据结果决定下一步行动。
例如:
- Agent 分析需求,确定需要修改的代码。
- 代码打包工具生成最小必要的代码快照。
- 模型审查代码,提出具体修改建议。
- 编译器和测试工具验证修改。
- 日志系统记录执行结果。
- 记忆系统保存新的缺陷案例与设计决策。
- 编排器根据验证结果决定是否继续。
这里的关键不是某个模型有多强,而是每个组件都有清晰的职责,组件之间存在稳定的接口,执行结果能够被验证,历史经验能够被继承。
这也可以理解为个人智能操作系统的一种基本结构:
| 系统层次 | 核心职责 |
|---|---|
| 连接与编排 | 将模型、Agent、应用和工具组织起来 |
| 记忆与知识 | 保存知识、历史决策和失败经验 |
| 执行与自动化 | 将目标转化为可重复执行的操作 |
| 工具与接口 | 提供职责明确、可以组合的能力 |
| 治理与权限 | 控制风险、权限和不可逆操作 |
| 观测与审计 | 记录执行过程,支持复核和追溯 |
这样的系统不是把所有功能塞进一个巨大的 Agent,而是将复杂性分解到可理解、可替换、可验证的组件中。
它可以随着需求逐步增长,也可以在某个模型失效或某个组件需要替换时继续运行。
系统的生命力,不在于每个组件都永远不变,而在于组件可以变化,接口和治理规则仍然能够维持整体的可靠性。
六、真正的个人复利:把解决问题的能力沉淀下来
现在,我们可以回到最初的问题:为什么 AI 时代,个人的进步越来越离不开靠谱的工具?
因为工具带来的收益不仅发生在当前任务中,还可能延续到未来。
一个人今天解决了一个技术问题。
如果只得到答案,收益可能仅限于这一次。
如果将答案变成可复用工具,就能降低下一次解决同类问题的成本。
如果进一步建立测试、日志和接口规范,这个工具就能够被其他程序调用。
如果再将它纳入 Agent 工作流,其他任务也可以复用这项能力。
如果系统能够记录使用过程中的失败和修正,这些经验又会改善未来的执行结果。
由此,个人能力的增长就不再完全依赖于每天投入多少时间,而开始取决于能否把实践成果转化为可持续复用的资产。
可以将这条路径概括为:
一次性解题 → 可复用工具 → 可靠组件 → 自动化流程 → 可积累经验的系统。
这条路径不要求一个人一开始就拥有庞大的技术体系。
恰恰相反,最好的起点往往是一个足够小、能够解决真实问题的工具。
先把它做好,再建立验证机制;先解决真实摩擦,再逐步自动化;先让系统可靠运行,再考虑扩大规模。
这既是 Unix 哲学的实践,也是个人能力复利的工程基础。
结语:从使用工具的人,成为设计能力系统的人
人工智能正在降低许多智力任务的执行成本。
但执行成本下降,并不意味着所有人都能自动获得相同的收益。
一个人是否能够从 AI 中获得持续的优势,仍然取决于他能否提出值得解决的问题,能否选择合适的工具,能否验证结果,以及能否将经验沉淀为未来可复用的能力。
因此,个人成长的目标也许需要发生变化。
过去,我们往往关注自己掌握了多少知识、学会了多少技能、完成了多少任务。
未来,这些依然重要,但还需要增加一个维度:
我是否建立了一套系统,让自己获得知识、解决问题、验证判断和积累经验的能力不断增强?
这不是要用系统替代人的思考,而是要让人的思考能够产生更持久的结果。
模型可以迭代,工具可以更换,任务可以变化,但一个人通过长期实践建立起来的判断力、验证机制、工具体系和经验资产,能够持续为新的探索提供基础。
人不必亲自尝试所有可能性,也不必与 AI 比拼每一项具体任务的速度。
更重要的是,理解自己想解决什么问题,构建能够探索可能性的系统,建立足以识别错误的验证机制,并确保每一次有价值的探索都能够成为下一次进步的起点。
AI 放大探索能力,工具降低行动摩擦,验证机制守住可靠性,经验积累形成复利。
当这四者形成闭环,个人就不再只是使用技术完成任务,而是在持续构建和扩展自己的能力边界。
- 这或许就是人工智能时代,个人智能操作系统最值得追求的价值。