【烂笔头系列】小红书推荐系统学习笔记03-特征交叉

FM

设有 $d$ 个特征，记为： $\pmb{X} = [x_1, x_2, ... , x_d]$ ，则线性模型的表达式为：

p = b + \sum_{i=1}^d w_i · x_i

其中， $b$ 为偏置，总共 $d+1$ 个模型参数。 $p$ 是预测结果，也就是特征和权重参数的加权和。因为没有乘法操作，所以特征之间没有交叉。

p = b + \sum_{i=1}^d w_i · x_i + \sum_{i=1}^d \sum_{j=i+1}^d u_{ij} · x_i · x_j

其中， $w_i$ 是为每个特征分配一个权重参数，而 $u_{ij}$ 则是为每一组交叉特征分配一个权重参数，那么其参数量则为 $O(d^2)$ 。若特征比较多，则参数量会非常多。

优化思路：把 $u_{ij}$ 这个方阵近似用两个向量内积表示，即 $\pmb{U} ≈ \pmb{V} · \pmb{V^T}$ 。参数量从 $O(d^2) \rightarrow O(kd)$ 。

这就是FM。

X_1 = X_0 \circ (W_0 * X_0 + b_0) + X_0 \\ X_2 = X_0 \circ (W_1 * X_1 + b_1) + X_1 \\ X_3 = X_0 \circ (W_2 * X_2 + b_2) + X_2 \\

DCN既可以用于召回，也可以用于排序。

双塔模型中的用户塔和物品塔都可以是DCN。

多目标中的Shared Bottoms和MMoE中的专家网络也可以是DCN。

上图是SENet结构图，其中输入的m个离散特征的Embedding向量长度可以不同。