去除数据集中的噪声和不一致性，例如去除重复记录、纠正错误的数据条目、标准化文本数据等。

对于缺失的数据，可以采用填充（如使用均值、中位数）、删除（如删除含有缺失值的记录）或预测（如使用其他数据预测缺失值）等方法。

对于类别型的离散特征，DLRM通过one-hot编码转换成高维稀疏特征，然后使用Embedding层将这些稀疏特征映射成稠密的向量表示，便于神经网络处理和学习。这一过程可以量化为矩阵乘法，其中one-hot编码后的向量与Embedding矩阵相乘，得到embedding向量。

对于数值型的连续特征，DLRM使用多层感知机（MLP）进行处理，将连续特征映射到与离散特征相同维度的嵌入向量。

DLRM模型中的交互层（interaction layer）通过点积操作实现特征的交叉，类似于FM算法中的操作，这样可以捕捉特征间的二阶交互。

DLRM模型使用Embedding层处理稀疏特征，并通过MLP处理连续特征，然后显式考虑这些特征的交互，最后使用一个MLP预测事件概率。

由于稀疏特征的Embedding会产生大量参数，DLRM采用模型并行和数据并行来处理这些参数，以提高计算效率。

DLRM在特征处理上，对于离散特征通过one-hot编码和Embedding层转换，对于连续特征则通过MLP转换。在特征交叉上，通过MLP神经网络层对Embedding层输出的特征进行进一步的转换和组合，实现特征的交叉。

DIN模型考虑了用户行为序列的特殊结构，即用户的兴趣是多样化的（Diversity）和局部激活的（Local Activation）。这意味着不同的用户行为对最终的点击事件有着不同的影响权重。

DIN模型使用注意力机制来动态地计算用户历史行为与当前候选广告之间的相关性。这种机制允许模型对用户的历史行为进行加权，从而突出与当前候选广告更相关的行为。

DIN模型中的局部激活单元是实现注意力机制的关键部分。它通过一个前馈神经网络来学习用户历史行为和候选广告之间的权重，这些权重反映了不同行为对用户兴趣的贡献程度。

DIN模型通过Embedding层将类别型特征转换为低维稠密向量，然后通过局部激活单元和加权求和（Weighted Sum Pooling）来聚合用户的行为序列，形成用户的兴趣表示。

DIN模型通过注意力机制隐式地进行特征交叉，而不需要像传统模型那样显式地设计交叉特征。

DIN模型在训练时采用了Mini-batch Aware Regularization和Dice激活函数等技术，以优化模型的训练过程并提高模型的泛化能力。

DIN模型的输入特征包括用户画像特征、用户行为特征、广告特征和上下文特征等，这些特征通过one-hot编码或multi-hot编码后输入模型。

DIN模型处理变长特征（如用户行为序列）时，通过Embedding和Pooling层将变长的特征序列转换为固定长度的特征表示，使其能够被后续的全连接层处理。