17

职业伦理

第 17 章 职业伦理:有些项目不该做

17.1 能做不等于该做

FDE 离客户现场和生产系统很近,往往比其他人更早看见技术将怎样影响具体的人。正因为能够快速构建和部署,更需要判断某件事是否应该做。

一个方案可能技术可行,却侵犯隐私;可能提高管理效率,却把员工置于不透明监控之下;可能降低人工成本,却把高风险决定交给无法解释的模型。

职业伦理不是抽象宣言,而是项目范围、数据使用、权限设计、评测标准和上线决策中的具体选择。

17.2 不制造虚假的成功

AI 项目容易通过选择样本制造好成绩。只测试模型擅长的问题,隐藏高风险错误,或者把短期试用人数写成长期采用,都可能让决策者形成错误判断。

评测要说明数据来源、样本范围、版本和限制。ROI 应区分实际发生、合理估算和未来预测,不能把员工理论节省时间直接等同于已经减少的成本。

案例和客户背书也必须真实。没有授权不能公开客户名称,模拟项目不能包装成企业项目,参与团队工作不能全部写成个人成果。

短期夸大会帮助项目获得注意,却会透支客户和同行的信任。

17.3 高风险自动化的边界

当 AI 影响贷款、招聘、医疗、教育、保险、执法或员工权益时,错误不只是体验问题,还可能影响人的机会、财产和安全。

这些项目需要更严格的专业审查、数据治理、偏差测试、解释记录和申诉机制。AI 可以整理材料、提示风险和辅助专业人员,但不应在缺少监督时作出不可逆的重要决定。

“最终由人确认”也不一定足够。如果审核者时间紧张、不了解模型限制,只是习惯性点击通过,人工环节就变成形式。真正的人在回路必须拥有信息、能力、时间和否决权。

17.4 看见权力不对等

技术往往由管理者采购,却作用在员工、客户或公众身上。被影响的人可能不知道系统存在,也没有机会纠正错误。

例如,用 AI 监控员工情绪、评价工作表现或预测离职风险,即使能够实现,也涉及隐私、准确性和权力边界。FDE 不能只听采购者描述价值,还要考虑一线使用者与被评估者承担什么后果。

必要时应提出更低风险的方案,减少数据收集,增加透明度和纠错渠道。某些风险无法合理控制时,拒绝项目是专业判断,而不是缺少商业意识。

17.5 同时保护客户和用户

保护客户数据是基本责任,包括最小化收集、限制访问、避免带入其他项目,并在合作结束后按约定处理资料。

同时也要保护使用系统的一线人员。不能在没有说明的情况下收集超出工作需要的行为数据,也不能把系统错误简单归咎于操作者。

上线说明应清楚告诉用户 AI 在哪里参与、数据怎样使用、如何提出异议以及何时可以请求人工处理。信任不来自隐藏复杂性,而来自可理解的边界。

17.6 明确模型与人的责任

模型不能承担法律和组织责任。项目必须明确谁批准使用,谁维护数据,谁监控系统,谁处理事故,谁对最终业务决定负责。

对外表达要避免“完全准确”“绝不泄露”“全自动替代”等无法保证的承诺。更专业的做法是说明已知能力、测试范围、残余风险和人工控制方式。

系统发生错误时,也不能只说“模型出现幻觉”。模型行为是可预期风险的一部分,部署者仍然要对场景选择和护栏设计负责。

17.7 当销售承诺超过能力

FDE 经常面对已经作出的时间、效果或功能承诺。隐瞒风险继续推进,可能暂时避免冲突,却会把问题推到生产环境。

应尽快把承诺拆成可以验证的假设,说明现有证据、缺口和影响,并提出缩小范围、分阶段验证或增加资源等选择。

如果承诺涉及安全红线、违法使用或明显欺骗,FDE 应拒绝执行,并通过组织的管理、法务或合规渠道升级。项目压力不能成为越过基本边界的理由。

17.8 可信赖是一种长期复利

企业愿意让 FDE 接触核心流程和数据,依赖的是信任。承认不知道、及时暴露坏消息、保护客户信息、如实描述效果,这些行为短期可能让项目显得不够漂亮,长期却会降低合作成本。

一个可信赖的 FDE 不承诺永远正确,但承诺不隐藏不确定性,不把风险转嫁给不了解情况的人,也不为了完成指标牺牲基本边界。

本章小结

FDE 越接近生产结果,越不能把伦理问题交给别人。数据怎样使用、系统影响谁、错误由谁承担、哪些决定必须保留给人,都属于工程设计的一部分。

技术能力会更新,工具会淘汰,可信赖的判断却会成为长期职业资产。