12-Ctr点击率预估理论基础及项目实战

　

点击率最高的博客

Ctr点击率预估理论基础及项目实战

1.机器学习推荐算法模型回顾

• 召回
  • 利用业务规则结合机器学习推荐算法得到初始推荐结果，得到部分商品召回集
  • ALS\USERCF\ITEMCF\FPGROWTH\规则等方式
• 排序
  • 1期：根据不同推荐位通过不用的模型得到推荐结果
  • 2期：将推荐的所有结果通过Ctr或Cvr预估结果进行排序
  • GBDT\LR\GBDT+LR\FM\FFM\DeepFM\Wide and deep模型\PNN\FNN等

2.机器学习重排序-线性模型

• 线性模型以LR为例展开
  • 线性回归：y=w0+w1x1+w2x2+w3x3
  • 非线性函数：y=1/{1+e**-x}—sigmod函数—以概率输出2分类的结果
• 线性模型：对输入特征需要做专门的处理灌入算法中学习

3.机器学习重排序-非线性模型

• GBDT为例—梯度提升决策树
  • 算法原理：
    • 加法模型
    • 前线分布算法
    • 梯度下降法
  • 是非线性模型，在模型中数据的输入没有要求，比线性模型少了跟多的处理特征的环境

4.机器学习重排序-GBDT+LR简介

• GBDT+LR
• GBDT非线性模型
• LR线性模型
• LR特征工程比较困难，可以借助GBDT方法得到关键特征
• GBDT通过将样本落入到每一个叶子结点上，取值为1，其余为0，构建稀疏性向量空间，如01001，将新向量作为LR的输入进行点击率预估，以概率的形式输出点击率预估结果

5.排序模型发展

• LR阶段--------特征需要处理，
• 为什么LR需要线性独立的特征？
  • LR接受的是线性独立的特征
  • y=w0+w1x1+w2x2 假设x1和x2是相关变量，能够将w1x1+w2x2组合为一个wx
• GBDT阶段-------能够做非线性处理
  • 根据信息gini系数对各个特征进行交叉，得到叶子结点是各个特征的交叉的结果，可以利用GBDT算法以稀疏编码的方式对已有的样本进行预测输出，如000101
• GBDT+LR
  • 利用GBDT的输出作为LR输入，输入LR的特征是独立的特征，进而进行学习

6.爱奇艺推荐排序模型

• 召回
  • 特征工程
  • 用户画像
  • 推荐算法
• 排序
  • 用户行为收集，特征填充，训练样本筛选，模型训练，在线预测排序
  • 机器学习算法

7.极大似然估计

• 求解发生概率的最大值
• 目的：求解发生概率最大值
• 步骤：1.写出似然函数，2.对似然函数求log对数，3.对似然函数求导数，4.得到最优解
• 机器学习三要素：
  • 模型
    • 决策函数：损失函数—平方损失、绝对值损失、指数损失-----最小化损失
    • 条件概率函数：极大似然估计
• 求解极大似然目标函数
  • 步骤：1.写出似然函数，2.对似然函数求log对数，3.对似然函数求导数，4.得到最优解

8.梯度下降法及牛顿法

• 梯度下降法
  • 底层实现：泰勒的一阶展开
• 牛顿法
  • 底层实现：泰勒二阶展开

9.逻辑斯特回归模型

• 构建似然函数
• 对似然函数加log对数----------------负log损失函数-------交叉熵损失
• 求解导数
• 利用梯度下降法求解得到参数
  • BGD
  • SGD(Mini-BATch SGD)

10.逻辑斯特回归模型实践

• 逻辑回归可以解决分类问题
• 参数信息：solver和penlty正则项

11.线性回归和逻辑回归的API

• 通过sklearn的API实现不同的算法

12.GBDT_LR实战与总结

• GBDT+LR实战
• GBDT形成结果通过OneHot编码形成没有线性关系的独热编码
• 再通过LR输出0-1之间的概率值
• sklearn中
• https://scikit-learn.org/stable/auto_examples/ensemble/plot_feature_transformation.html

13.腾讯-GBDT与LR

• GBDT
  • ID树—以不同的id进行分类
  • 非ID树—那所有样本构建树
• LR
  • 接受GBDT输出结合Onehot编码数据

14.CTR在广告场景应用

• ctr广告场景的引用
  • 搜索类广告
  • 展示类广告
  • 社交类光磊
• 计费方式
  • cpm展示既收费----展示到一定次数>100
  • cpc点击即收费-----点击率Ctr*bid(常见)
  • cpa转化即收费-----需要转换
• 如果ctr不高怎么办？
  • 展示量低？—提高展示量
  • 展示量高，点击偏低
    • 文案
    • 广告关键词？-----重新购买关键词
    • 推广结果排名较低
• GBDT+LR模型

15.Avazu-CTR-Prediction-LR代码

• 数据源+数据导入
• 数据的基本分析
• 特征工程
• 建立模型
• 模型校验
• 模型预测
• 模型保存

17.Ctr广告点击率预估代码实战

18.Ctr技术发展应用

• 百度蜂巢
• 阿里妈妈
• 京东
  • 规则-------LR--------GBDT提取关键特征------GBDT+LR(分类概率)
  • FM—FFM—DeepFM—WideAndDeep
• FM—能够提取二阶特征----通过内积提取
• FFM—在FM基础上增加了field域概念
• FNN—Filed Neural network–只能学习到高阶特征
• PNN—在神经网络中增加了product-layer
• Wide and Deep===线性回归或LR+DEEP–需要借助人工特征工程
• DeepFM—FM提取一阶和二阶特征—Deep提取高阶特征—Sigmod函数给出预测值

19.总结

• 机器学习基础概念
• 语言基础—Python语言—Scala—Julia—R语言
• (项目1)用户画像—挖掘类标签
• (项目2)推荐系统—基于sparkmllib模型和surprise库模型–tensorflow—召回
• (项目3)推荐结果排序----模型排序
• (项目4)Ctr广告点击率预估\Cvr广告的转化率预估

相关阅读

淘宝直通车关键词点击率低该怎么优化？

点击率，相信很多朋友都没有听过，但是做网络营销的朋友都知道，点击率，是指网站页面上某一内容被点击的次数与被显示次数之比，它是一个百

计算广告CTR预估系列(五)--阿里Deep Interest Network

计算广告CTR预估系列(五)–阿里Deep Interest Network理论 计算广告CTR预估系列(五)–阿里Deep Interest Network理论 1. 背景

淘宝首图怎么做优化可以让点击率翻倍?掌握这四个技巧!

淘宝首图怎么做?很多卖家不重视主图，不知道淘宝首图做优化可以让点击率翻倍，今天seo实验室小编给各位卖家分享一下淘宝首图怎么做优

刷直通车点击率有用吗

刷直通车点击率有用吗?这个是许多淘宝卖家们都想知道的问题，没有定论，看你做直通车做的怎么样，转化率高不高，那么刷直通车点击率有用

如何优化直通车点击率？

直通车我们都耳熟能详了，那么直通车点击率是什么呢?直通车点击率如何优化呢?下面让seo实验室小编总结分析一下如何优化直通车点击