本文主要记录工作中常用的先验校准以及原理推导,算是作为文章《面向稀有事件的 Logistic Regression 模型校准》的补充版。

背景

在计算广告业务中,DSP承担的角色是代替广告主出价竞争媒体的展示流量。出价也就是需要给出本次竞争的成本eCPM,而现有的出价产品往往是智能出价的(比如OCPX),即eCPM=转化目标出价pCTRpCVR调价因子eCPM=转化目标出价 \, * \, pCTR \, * \, pCVR \, * \, 调价因子,所以就要求精排模型预估的pCTRpCTRpCVRpCVR十分准确。否则要么超出了广告主成本,要么消耗过低得不到推广(拿不到量)。

影响模型准确程度比较大的两个可能是:

  1. 由于浅层和深层的转化数据非常稀疏,模型通常学不好,业界常用的做法是在训练时对负样本进行降采样(负采样)。一是为了提高正样本比例,更好的学习到正样本的特征信息;二是降低了数据量,可以大大提高训练速度。但是带来的问题是使得模型学习到的正负样本分布是有偏的。
  2. 即使点击等数据足够(不太稀疏),在离线数据预处理时,也会因为延迟、过滤、新物品曝光点击不充分等因素导致模型学习到的数据分布和实际线上分布有差异。这一种可以认为是第一种的一类特殊情况,即进行了非人为的正样本或负样本降采样。

综上,DSP的精排模型通常是需要校准的,也就是把离线训好的模型的分布校准到与实际分布一致。其中一种常用的解决思路是基于先验分布的校准,即先验校准

逻辑回归模型的先验校准

极大似然估计高斯分布的方差是有偏的

校准的是模型的截距项

校准公式等价于Facebook的公式

参考文献