RankNet

RandNet的基本思想

RankNet是一种Pairwise的Learning to Rank算法。

RankNet方法就是使用交叉熵作为损失函数,学习出一些模型(例如神经网络、决策树等)来计算每个pair的排序得分,学习模型的过程可以使用梯度下降法。

方法流程

首先,我们要明确RankNet方法的目的就是要学习出一个模型,这个模型就是给文档算法的函数f(d)。其中d为文档特征。

哪一个网页与搜索更相关

网页u比第网页v与搜索更相关的的概率:

交叉熵作为损失函数。

我们知道,在机器学习中,一般来说,要训练,就要有个Loss Function,来衡量当前模型与Training Set的Loss,也就是差距,然后训练的过程就是把Loss不断减少的过程。

f_u - f_v

梯度下降法更新迭代求最优的网络模型

最后我们说一下RankNet算法的一大好处:使用的是交叉熵作为损失函数,它求导方便,适合梯度下降法的框架;而且,即使两个不相关的文档的得分相同时,C也不为零,还是会有惩罚项的。

引用http://blog.csdn.net/puqutogether/article/details/42124491
引用http://blog.csdn.net/orthocenterchocolate/article/details/43203891