结论先行:额度有限时,不要平均撒样本,而要把样本集中在“最可能推翻你现有判断”的对象上。具体说,先按退出场景分层,再从每层里挑出特征最极端、最接近决策边界的那几个,最后留一小份额度给验证。这样得到的不是覆盖率最高的结果,而是最能改变下一步动作的结果。若你的旧系统、旧内容或旧合作关系彼此高度同质,这个策略会失效——那时随机抽样反而比挑极端样本更可靠。
额度有限时,最常见的错误是把查询次数按对象数量等比例分配。退出场景下更有效的做法是先分层:把待处理对象分成“确定退出”“确定保留”“待定”三类。确定退出的不需要花额度去查,确定保留的只需少量抽查确认没有异常,额度应该几乎全部投向“待定”层。
这样做的依据是:查询的价值不在于描述一个你已经知道结论的对象,而在于减少待定层的不确定性。如果待定层里某个对象一旦被证实仍有价值,就会改变整批处理方案,那它就应该优先被查。
典型样本只能告诉你平均情况,边界样本才能告诉你判断规则是否成立。假设你有一批旧推广软件账号或旧投放计划要清理,判断标准是“近三个月是否还有自然流量或转化”。那么最值得查的不是表现中等的那些,而是:
这三类样本各自能推翻一个不同的假设,信息量远高于随机抽取同样数量的对象。
挑样本之前,先写下每个样本可能出现的两三种结果,以及每种结果对应什么动作。如果某个样本无论查出什么结果,你的下一步动作都不变,那它就不值得占用额度。这个筛选动作本身就能砍掉一半候选样本。
例如,假设你计划退出五个旧推广渠道,但其中两个渠道的退出成本极高。那么这两个渠道的查询结果会直接决定是“全部退出”还是“保留两个、退出三个”。它们就是高信息量样本。反之,一个无论结果如何都会退出的渠道,查了也只是满足好奇心。
建议把有限额度按大致七三开使用:七成用于诊断性查询,即上面说的边界样本;三成留作验证。诊断阶段如果发现你的判断标准需要调整,验证阶段就用新标准再查一小批,确认调整后的规则在别的对象上也成立。
这个动作的实际影响是:如果诊断样本显示你的退出阈值定错了,你还有额度去检验新阈值,而不是在发现错误后已经没有查询机会。反过来,如果诊断样本全部支持原判断,验证额度可以用来抽查几个原本以为“确定保留”的对象,防止分层本身有遗漏。
如果待处理对象之间高度同质——比如同一套模板批量生成、同一时间上线、后续没有任何差异化运营——那么边界样本和随机样本提供的信息几乎一样,挑极端样本不会带来额外信息量。此时更合理的做法是随机抽取少量对象,确认整体状态,然后把剩余额度省下来,直接按统一规则批量处理。
判断是否同质,可以看对象的上线时间、内容结构、流量来源和后续干预记录是否高度一致。一致程度越高,越应该转向随机抽样。
具体顺序是:第一步,写下你当前对每个待定对象的初步判断和对应的退出或保留动作;第二步,找出那些“判断一旦错了就会改变动作”的对象,列为候选;第三步,从候选中优先选阈值附近和极端值,组成诊断样本;第四步,查询后记录结果是否推翻了原判断,并据此决定验证样本怎么选。这样一轮下来,你得到的不是一堆数据,而是一条经过检验、可以继续执行的处理规则。