欢迎光临 x-algo
关注算法在工业界应用
Hi, 这是一个关注大数据算法在工业界应用的网站

Deep Learning

BERT衍生文本模型(2019)

leihao阅读(99)评论(0)

ALBERT(2019) 目标是探索出来一个轻量级的bert 随着参数的增加,在没有明显过拟合的情况下,原始的bert性能是会下降;所以增加参数不是万能的 通过并行化和优化内存管理加速bert,都只是从工程上对bert进行优化,并未真正解决...

BERT衍生的多模态模型(2019)

leihao阅读(202)评论(0)

本文记录2019年多模态和BERT相关的论文,文章介绍顺序并不代表论文发表顺序 UNITER UNITER: LEARNING UNIVERSAL IMAGE-TEXT REPRESENTATIONS 有作者的直播视频:https://ww...

视频行为理解

leihao阅读(376)评论(0)

行为识别是用来识别“人自身”、“人和人”、“人和物”的“行为”。比如“抽烟”,“打架”。这个任务有好几个数据集,接下来先介绍一下各个数据集。 数据集 HMDB-51(2011) 其中包含51 action,7k clips; 这个数据集合包...

DNPG:Decomposable Neural Paraphrase Generation

leihao阅读(360)评论(0)

复述生成进行建模,强调word、phrase级别可以代表领域信息,sentence级别代表“全局”信息,其实就是对“意图”和“实体”进行显式建模。下面是一个例子: 模型流程 通过不同的encoder和decoder对不同粒度进行生成 更好的...

Wide&Deep/DeepFM/NIM/NIEM

leihao阅读(2280)评论(0)

本文记录几个在广告和推荐里面rank阶段常用的模型 Wide&Deep 在推荐的场景中,最重要的行为数据是点击(下载/购买)数据,传统的Wide类型的特征可以对确定性的推荐很好的建模, 如果考虑到多样性,就需要对稀疏数据和"没有直接...

DSSM/CDSSM

leihao阅读(5395)评论(0)

两个老文章,对搜索文本分模型影响很大. DSSM 其中 \(W_1\) 是hash策略,不是要学的参数,特别的地方就是hash策略.文章通过hash进行降维,本质上还是bag of words模型.最大化有点击的样本的概率. CDSSM 想...

CTC原理

leihao阅读(19291)评论(0)

不搞语音识别得人开这个论文确实有点费劲,结合上图,思考一下语音识别的场景,输入是一段录音,输出是识别的音素, 输入的语音文件的长度和输出的音素个数之间没有一一对应关系,通常将语音文件「分片」之后,会出现多对一的关系。这个场景在「翻译问题」和...

语音识别解码器(2)—WFST基本操作

chendajun阅读(10061)评论(0)

上篇简单介绍了FSA、FST、WFSA、WFST、半环的概念和区别,本篇将介绍WFST的基本操作和转移器的合并。 闭包、并联、串联 自动机理论中包含3个基本操作:Kleene闭包、并联、串联,对于给定的两个WFST为 \(T_{A}\) 见...

CTPN原理

leihao阅读(11082)评论(0)

文章思路很不错,利用了文字作为object本身的提点,设计固定宽度的anchor,减少学习的空间。 网络结构 查看大图 特点 不是在字的级别,最终输出是在行的级别 对每一行,每一个feature map位置,固定需要回归的框的宽度为16像素...

关注大数据算法在工业界应用

本站的GitHub关于本站