有一个问题决定着如何阅读任何审核报告 · 签署人实际上看了多少。答案通常是一个样本 · 在有限时间内选定的系统的一部分。应在这一基础上理解结论。


本站宣言将其表述为一项原则 · 样本不是借口。抽样并不意味着可以少看 · 它要求选择有准则、有风险依据、有书面论证。本准则将这一原则落实到操作层面的结果,并为这道边界命名 · 样本的边界。准则 03 确立了第一道认知边界 — 范围限定证书所证明的领域。样本是第二道边界 · 它限定该领域内的观察。两者失效的方式相同 · 即便范围完善,以便利样本进行审核,也会产生与缩减范围同样的虚假安全感。

每个样本都是一种理论

选择样本,就是以书面或默认的方式,断言系统可能在哪里失效。它由三个决定构成,即使无人将其写下 · 查看哪些单元 — 方向,查看多少 — 深度,以及何时查看 — 时机。严肃的抽样设计可以展示,也经得起论证 · 针对这些风险,在这些时点,依据这些理由,选择这些单元。即使这些决定没有写下,也依然已经作出。作出决定的是便利;便利也会设计样本 · 只是不在设计上署名。

抽样的三种弊病

弊病 01 · 便利样本。惯常的场所、熟悉的过程、受审核方已准备好的记录。提前通知的访问可能是确保准入和人员可用的必要措施;但它也可能让受观察的部分变得可预测。纠正措施不是假装突袭,而是将准备好的证据与历史记录、独立选择,以及在方案允许时开展的不预先通知的核查相结合。

弊病 02 · 沿袭样本。一个周期接着一个周期,采用同样的抽样设计。受审核体系学会了哪些单元会被查看,并使其始终无可挑剔 — 这是准则 11 所述“无问题周期”的机制之一。重复的样本不再是一种风险理论,而变成双方共同编排的舞步 · 受审核方排练自己的部分,审核员执行自己的部分,再没有人追问系统可能在哪里失效。

弊病 03 · 百分之百的幻象。算法可以审查所有已记录的交易,却依然看不到缺失的字段、无人编入程序的规则,或发生在系统之外的事实。我将其称为 边界的转移 · 数据集内部的覆盖率提高了,边界则移向数据集的设计。决定查看哪个总体,以及哪些内容未能进入数据,仍然是审核员的工作。

报告的诚实性

本准则的后半部分体现在报告中。严肃的签署只断言样本所允许的内容 · 这些单元、这个时期、这个置信程度 — 并声明哪些部分未被查看。声明的局限是论证的一部分 · 省略这些局限的文章,所断言的超出了它能支持的范围。因此,训练有素的读者会颠倒阅读顺序 · 在阅读结论之前,先找范围与局限部分。如果该部分泛泛而谈 — 同一段文字适用于任何工作 — 那么结论也同样流于笼统。

准则检验

拿出您最近收到的一份审核报告 — 内部或外部均可 — 并向它提出三个问题。

问题一 · 总体有多大,实际查看了多少?预期答案 · 这两个数字都载于报告或可查阅的工作底稿中。如果两者均未记载,这份报告要求的是被相信,而非被阅读。

问题二 · 依据什么准则选择样本?预期答案 · 一项写明风险的书面准则 — 新过程、人员流动、既往发现、投诉、供应商变更 — 并附有书面论证。未写下的准则依然存在 · 那就是便利。

问题三 · 对于未查看的部分,报告作何声明?预期答案 · 专门针对本项工作的局限部分,而非模板段落。还要当面核实 · 请签署人说出哪些内容被排除在样本之外,以及原因。依据准则进行设计的人凭记忆就能回答,因为决定是他作出的。沿袭设计的人则要翻查底稿。

门槛就是宣言中的那一条 · 样本是回应风险,还是迎合便利?严肃的报告会在有人提问之前,以书面形式作答。

整个系统从未被摆到桌面上。摆上来的只是某个人选出的一部分,选择的理由或被写下,或被隐去。有分量的签署会说明,摆上来的是哪一部分,为何选择它,以及它允许作出什么断言。正是在这一声明中 — 而非主要在样本大小上 — 可以区分主动选择观察的审核员与走马观花的人。