第1343章 无监督训练

第1343章 无监督训练 (第1/2页)

既然确定了秘而不宣的方针，两人便默契地把62层残差网络的实验数据加密封存进了内网最高权限的服务器里。
　　
　　处理完视觉网络的数据，二人起身穿过走廊，来到了隔壁的语音与自然语言处理测试间。
　　
　　监控屏幕上，正实时滚动着从全国各地红星手机终端汇聚过来的海量语音标注数据进入到服务器中，然后进行深度网络学习。
　　
　　看着后台那条飞快爬升的语音识别准确率曲线，何凯明忍不住啧啧称奇，转头对成文飞感慨道：
　　
　　“成教授，你别说，马总之前提议在系统里搞个任务中心，用积分换礼品让大家一起来标注语音，确实是个好主意！”
　　
　　“咱们把初筛后的音频分发给合作的数据外包公司，再结合手机端上百万网友的众包校对，现在每天外包公司最终清洗提交上来的高质量合格数据，都能达到百万级别，而且连各省偏僻县城的方言口音全都有。”
　　
　　“而且因为有交叉校验机制，准确率也非常高，比单纯让外包公司做快太多了！”
　　
　　成文飞看着各地方言样本，满意地点了点头：“人民群众的智慧和薅羊毛的热情是无穷的。按照这个数据喂养量，你预计咱们的语音声学网络还要多久能达到商用标准？”
　　
　　“我估计按照目前的学习和吞吐速度，最多再迭代训练一个多月，等六月中旬的时候，咱们的语音识别率和语义理解准确率就能跨过百分之八十三的门槛！”
　　
　　何凯明信心十足地说道，“到时候咱们完全可以先在红星社区里搞一次智能音箱的小规模公测，把工程样机发给核心粉丝用起来，让更多的人在真实家庭环境里参与到对话训练当中！”
　　
　　成文飞站在测试台前，听着工程样机里传出的合成女声，点了点头。
　　
　　不过在调试这个智能音箱的过程中，两人的思维依然十分活跃，一边看着这边的数据和代码，一边还在讨论关于残差网络后续的发展方向。
　　
　　“凯明，残差连接虽然帮我们解决了梯度消失，让网络可以堆到几十层甚至上百层，但我们在视觉和语音的底层特征提取上，还没有到能够开香槟庆祝的时候。”
　　
　　“卷积神经网络天生就有个致命的短板，那就是固定的感受野。”
　　
　　“它太擅长捕捉局部的边缘和纹理了，但对于远距离的空间关联，比如一张图片里左上角的一只猫，和右下角的一个毛线球之间的逻辑关系，或者一段长语音里前后隔了十秒钟的两个词，它的建模能力依然非常弱。”
　　
　　“我明白您的意思。”何凯明接过话头，思索着说道：
　　
　　“我们需要更好的特征表达和多尺度融合机制。”
　　
　　“把低层的精细空间信息和深层的高级语义信息结合起来，比如构建一种特征金字塔结构，或者引入空洞卷积来扩大感受野。
　　
　　甚至……我们可以尝试在卷积层之间，加入一种类似人类视觉聚焦的权重分配机制，也就是注意力的雏形，让网络自己学会该重点看哪里。”
　　
　　

（本章未完，请点击下一页继续阅读）