Rumman Chowdhury正把人工智能评估从公益实践转变为商业运营模式。她于2025年卸任非营利组织Humane Intelligence首席执行官，目前领导公益公司Humane Intelligence PBC，为前沿人工智能和智能体人工智能开发测试与评估服务。该非营利组织则继续独立运营，由一名执行主任领导。
这一区别至关重要，因为两个组织回答的是不同问题。公开挑战和红队活动能够揭示广泛的社会与技术弱点。企业则需要在自身系统内持续测试，建设可重复评估的基础设施，并由专家协助在部署前修复故障。
乔杜里看到模型基准测试与传统咨询之间的市场空间。Humane Intelligence PBC提供模块化评估、托管基础设施和前线部署专业服务。这项业务可以让缺乏内部团队的公司切实开展严格测试，但也可能面临一个常见的审计问题：付费接受评估的客户或许更希望得到有利结论。
评估正成为运营基础设施
人工智能系统已不再局限于研究实验室。它们会汇总客户记录、推荐医疗措施、筛选内容、生成代码并操作工具。一个模型可能在公开基准测试中表现出色，却无法适应某家公司的语言、数据和工作流程。因此，评估必须针对具体情境。
企业必须测试事实准确性、偏见、隐私、安全性、稳健性和任务完成情况。智能体系统还涉及权限、工具使用和多步骤行为。故障可能只在多个组件相互作用时才会显现。单一评分无法反映这些风险。
Humane Intelligence可通过将政策目标转化为测试来创造价值。银行可能需要了解某款助手是否会提供不当的金融建议；制造商可能会测试智能体能否绕过审批更改设备。评估应形成证据、阈值和整改优先事项。
运营基础设施意味着测试要反复进行，而非只在发布前实施。模型、检索数据和软件都会变化。监控可以发现偏移并触发更深入的评估。如果评估成为产品发布和风险管理的一部分，而非一次性认证，乔杜里的业务将更具持久性。
买方与公众可能期待不同的答案
商业客户掌控预算、时间安排和信息获取权限。客户可能会严格限定工作范围、推迟发布，或否决可能危及产品发布的建议。评估方需要建立机制，在不违反合理保密要求的前提下保护专业判断。
Humane Intelligence PBC应公布利益冲突政策和标准条款，保留向客户内部适当决策者报告重大风险的权利。评估团队的报酬不应取决于系统是否通过评估。销售负责人不应修改技术结论。
治理机制可包括一个独立审查委员会，负责审议存在争议的高风险结论。员工需要一条受保护的上报渠道，以及退出项目的明确规则。公益性架构可以为这些选择提供支持，但仅凭法律形式并不能确保独立性。
客户也理应获得程序公平。调查结果应包括证据、不确定性，以及纠正事实错误的机会。公司可以不认同评估方的风险容忍度，但不能压制数据。将观察结果与建议分开，能让讨论更有价值。
方法必须足够透明，方能赢得信任
评测供应商自身也可能制造不透明。专有评分看似权威，却可能掩盖任务选择、样本规模和判断过程。客户应当了解测试内容、案例生成方式、参与评测的人员，以及系统获准访问的资源。
乔杜里可以在保护客户数据隐私的同时发布方法论框架。测试库应说明预期用途、局限与覆盖范围。适当情况下，结果应提供置信区间或定性的不确定性说明。通过测试的结论应仅适用于受测版本和环境。
人工评估需要背景多元且获得充分支持的参与者。红队参与者能够发现技术团队忽略的危害，尤其是跨文化和跨语言环境中的危害。他们应获得报酬、免受令人不适材料的伤害，并按照约定条款获得署名。他们从事的是专业劳动，而非免费的社区反馈。
自动化评估器可以扩大评估规模，但也会引入另一模型的偏见和盲点。它们应以人工判断为基准进行校准，并接受漂移审计。系统不应通过一连串不透明的模型生成评分来自我认证。
整改将评估与批评区分开来
企业付费不只是为了得知系统失效，也为了决定下一步如何行动。Humane Intelligence的商业模式包括前线部署支持，让专家有机会与产品和风险团队协作。这可以加快修复并创造经常性收入。
评估机构不应成为其所建议各项整改措施的唯一实施方，否则可能因发现更多问题或验证自身修复方案而获得经济利益。客户可以选择该机构提供支持，但重大变更应由独立团队重新测试。
补救措施可以作用于多个层面：训练数据、模型选择、指令、检索、权限、用户界面和人工审核。成本最低且有效的控制措施可能位于模型之外。对于能够执行高风险交易的智能体，一个简单的审批关卡可能比又一轮调优更为必要。
Chowdhury应衡量修复措施是否持续有效。一项已关闭的发现可能在模型更新或产品扩张后再次出现。版本化测试套件和回归检查，使评估成为工程纪律的一部分。
市场需要标准，但不应由单一守门人把控
监管机构和采购团队日益要求提供AI风险得到管控的证据。独立评估机构可以提供此类证据，但行业不应依赖某一家供应商的认证标志。竞争和互操作性有助于防止形成新的认证垄断。
Humane Intelligence公益公司可以将其测试结果映射至监管和标准框架，同时向客户保留原始证据。可导出的结果使内部审计人员、监管机构或其他评估方能够审查相关工作。通用格式可降低更换服务提供商的成本。
认证措辞应当审慎。评估无法证明复杂系统在所有用途下均属安全，只能表明系统在特定条件下的表现，以及控制措施是否达到既定门槛。营销宣传不应将这一有限结论扩大为普遍保证。
专业标准最终或将涵盖资质认证、同行评审及利益冲突规则。乔杜里可以通过分享经验、支持一个超越其公司范围的行业社群，参与制定这些标准。她此前的非营利工作为她带来公信力，但其商业实体必须重新赢得这种信任。
前沿模型与企业系统需要不同的测试
公众讨论往往聚焦最大型模型的能力。企业则使用模型、专有数据、软件和人工流程组建系统。整合后的应用可能带来基础模型本身并不存在的风险。
前沿模型评估可能考察危险能力、操纵行为或系统性滥用。企业评估则可能聚焦特定工作流程中的隐私、歧视、可靠性和权限边界。两者都很重要，但评选方法和负责任的决策者并不相同。
Humane Intelligence应明确其评估的是哪一层级，并避免在没有证据的情况下将一个层级的结果套用于其他层级。强大的基础模型并不能保证不安全的应用变得安全；治理严谨的应用则可能缓解通用模型的部分弱点。
智能体系统使这条边界尤为重要。工具描述、身份、记忆和审批规则可能比模型智能更具决定性。评估必须涵盖真实的集成和故障恢复，而不能只考察对话。
全球评估需要本地知识
亚洲使用的人工智能系统跨越语言、法律制度和社会语境，而这些因素在开发数据中往往代表不足。在一个市场被视为无害的回应，可能在另一个市场强化歧视或违反当地规定。直接翻译无法解决这一问题。
Chowdhury在“下一个十亿人”人工智能领域的工作以及公开红队经验，为扩大参与奠定了基础。该公司应建立付费区域网络，并与当地研究人员合作，而非带着一份通用清单空降。评估案例需要反映实际服务和弱势群体。
数据驻留与保密要求可能需要本地基础设施或受控环境。前置部署团队可以在客户系统内部工作，但访问权限应受到限制与监控。评估机构本身也将成为敏感模型信息和故障信息的持有者。
地区多样性能够改善全球产品。在资源匮乏语言或陌生语境中发现的弱点，往往会暴露推理、检索和界面设计方面的普遍问题。如果客户重视覆盖范围的扩大，商业模式便可为这项工作提供资金。
两家Humane Intelligence机构需要明确划定边界
该非营利组织与公益公司名称相同，且拥有共同的创始人历史，可能导致人们对资金、数据和背书产生混淆。双方应分别公布其治理、领导层和财务关系。参加非营利活动的人士必须知道，他们的贡献是否可能用于支持商业产品。
合作可以创造价值。公开挑战可以识别新兴风险，商业项目则可以建设基础设施并积累实施经验。任何方法或数据的转移都需获得同意并遵循公平条款。非营利组织的声誉不应在缺乏问责的情况下成为销售资产。
Chowdhury已不再担任该非营利组织的首席执行官，公开表述应反映这一点。准确的职务称谓既能维护其现任领导层的权威，也能让该公司按自身表现接受评价。
Rumman Chowdhury推动红队测试成为AI治理中广受关注的一环。商业化可以让评估持续开展、获得更多资金，并更贴近工程实践；也可能削弱这项工作原有的独立性，而这种独立性正是其价值所在。如果Humane Intelligence PBC的方法可供审查、利益冲突得到控制，且即使有权势的客户急于发布产品，评估人员仍能作出令其不悦的结论，它就能赢得信任。
