本节重点开始介绍深度学习，开始记录实战的想法和方案。

课程相关

可以查询当前最牛的神经网络算法网站

https://paperswithcode.com/

神经学习前沿

  • GAN：生成对抗网络
  • Attention：注意力机制
  • Transfer Learning：迁移学习
  • Self/semi-supervised Learning：自/半监督学习

单、多层感知机

深度学习实施的一般过程

模型设计：CNN、RNN。

loss设计：损失函数的设计。

训练时可能会选择*多个模型，训练完之后再从中选择一个。

数据组建和清洗要占到70%的时间，数据非常重要！不然就是 garbage in，garbage out。

模型预测的基本原理

当你搜集了足够多的已有数据，再预测一个对象时，从已有数据中找到最接近的，进行预测即可。

就像如果我用模型完全模拟了一个人，那么我就能用模型来预测这个人接下来会做什么。

之所以需要模型，就是需要减少预算的计算复杂度。

能机器学习预测的前提是人能凭感性地预测。就算让我看一个用户打开相册，我也没法直观地感觉出哪些视频用户会编辑

实战思考

收集的数据源

说在前面：上报18939的数据基本都是可以使用的。

  • 视频指标
    • 视频录制时长 : 18939 VideoDurationMs
    • 文件大小：18939 FileSize
    • 分辨率
    • 码率
    • 帧率
    • 视频丰富度
    • 文件类型（hdr/h265/h266 ）
    • 音视频编码
    • 音频轨道
  • 用户习惯
    • 发表时间
    • 历史发表数据（是不是经常发动态）
    • 是否编辑过视频
      • 视频添加表情个数：18939 VideoEmoji
      • 视频添加文字挂件个数 ： 18939 VideoText
      • 视频添加的音乐id：VideoMusicId
      • 视频所选音乐为推荐的序号：VideoMusicIndex
      • 是否为搜索音乐：IsSearchMusic
      • 编辑信息：EditInfo
  • 用户身份
    • 是否实名认证
    • 是否创建过视频号账号
    • 年龄（大字体）
    • 性别
  • 上报
    • 场景来源： 18939 enterScene
    • 视频来源： 18939 VideoSource
    • 发表视频类型： VideoType
    • 是否添加文字介绍描述：HasWording
    • 扩展连接：Url
    • 是否添加地理位置信息：LbsFlag
    • 是否为草稿：EditDraftFlag
    • 话题名：Tag
    • 是否是原创素材：isOriginalAsset
    • 作者已经声明了原创：isOriginalAuthor
    • 发表视频时是否选择了自定义封面：IsHaveCover
    • @的视频号个数：MentionUsercnt
    • 拉起@人的界面次数：ClickMentionCnt
    • 视频子类型：VideoSubType
    • 音乐类型：MusicType
    • 配乐类型：SoundTrackType
    • 模板使用情况：TemplateInfo
    • 在发表页面重新选的素材：newSelectOnPostPage

动态预测

因为在发表页面用户的操作是随时在变的，可能删了素材、可能添加了文字，也就是说用户的操作是随时在变的，这里预测就要做成动态的。

解决问题和通用性

先用各种手段解决问题，解决完问题后再思考怎么转换成通用方案，以后自己的项目也可以使用。