triplet
在Deep Speaker中,triplet三元组的选择是很重要的。如果随机选择,会使收敛速度变慢,如果使用“hard-negative”,会得到次优的结果,也就是说ap和an的相似度一直接近1,如图1所示。因此FaceNet论文中建议使用“semi-hard-negative”,根据我做的实验来看,确实能起到作用,如图2所示,在使用了“semi-hard-negative”之后,an不在接近1,而且ap和an的相似度分离得越来越开(当然,这里还没有收敛,因此ap没有接近1)
图1
图2
这里的“hard-negative”是这样做的:在Mini-BATch中,保持ap对不变,对每一个ap对,从所有的negative中选择一个,使得an的相似度最高。这样可以使得训练加快收敛,但是会造成次优的结果,参考图1
而“semi-hard-negative”是这样做的:在mini-batch中,保持ap对不变,对每一个ap对,从所有的negative中选择一个,使得an的相似度尽可能高,但是必须小于相应的ap的相似度。这样可以避免an的相似度接近1。从实验的结果上来看,“semi-hard-negative”的效果还是很明显的。
不过deep speaker论文中没有使用“semi-hard-negative”,而是使用softmax和交叉熵进行预训练。
相关阅读
支付宝在2017年1月12日对外宣称早已开始研发类似小程序的应用。今年4月,国家市场监督管理总局在支付宝上推出“电子营业执照&
闸海涛 医药SPD老兵。 HIS其实就是个伪命题。自己做HIS更加是一个不成立的伪命题。首先说说HIS,起码从名字上看,医院里所有的系统都
1、GUI编程概述 Python需要界面么? 大多数情况下是不需要的,但是如果要给非开发者用,那么有个界面还是必要的。只需要掌握一种基
随着微信小程序开放临近为了让更多企业及时享受到小程序的巨大红利微信小程序制作平台湖北优一客网络科技优客小程序正式启动全国
很多开发者不知道,其实小程序的AppID可以创建小程序插件项目,由于插件是独立于小程序之外的,所以不要使用原有的小程序项目进行插件