阿里文娱多模态学习笔记

ryluo 2020-06-14 01:29:22
阿里文娱

阿里文娱多模态特征处理学习笔记,视频学习来源于阿里文娱公众号

记录一些内容防止忘记,有空再处理

  1. NextVLAD
  2. Gate的设计思路
  3. EfficientNet高效,细粒度信息提取更强
  4. Weakly Supervised Data Augumentation Network for fine-Grained Visual classification
  5. self-supervised
  6. weakly supervised
  7. instance discrimination
  8. Momentum Contrast for unsupervised Visual Representation Learning
  9. 多模态特征融合的时候,可以考虑给每个模态都加上一个损失函数。
  10. 基础特征的优化可大幅度提升多模态模型的性能。
  11. 特征优化的核心目标是:提升特征模型对本质信息的提取能力
  12. 更优秀的无监督学习算法:SimCLR
  13. 对于多模态网络:特征表征能力越强,对分类网络要求越高
  14. 需要更强的信息融合、抽取、辨析的分类网络