第1343章 无监督训练

第1343章 无监督训练 (第2/2页)

成文飞顺着何凯明的思路往下延伸，提出了一个更具颠覆性的问题：
　　
　　“多尺度融合确实是一条必经之路，但凯明，我这两天在想另一个更核心的问题，表征迁移，也就是迁移学习。”
　　
　　“你想想看，咱们用深层残差网络在千万级的大数据集上，千辛万苦训练出来的底层视觉特征，能不能直接挪到别的小任务上去用？”
　　
　　何凯明眼睛一亮：“您是说……预训练加微调？！”
　　
　　“对！就是预训练！”
　　
　　成文飞这会的神色变得格外认真：“如果每次做一个新任务，比如从人脸识别换成自动驾驶的车道线检测，或者做医学影像分割，我们都要重新收集几百万张标注图片从零开始训练，那人工智能的落地成本就太高昂了！”
　　
　　“残差网络真正能够改变整个行业的，绝不仅仅是它能训得很深，而是它有潜力变成一个通用的视觉底座！我们先在超大规模数据集上完成预训练，之后只需要用极少量的特定行业数据进行微调，就能迅速适配分类、检测、分割等所有下游任务！”
　　
　　说完这番话，成文飞转过身，看着窗外园区里郁郁葱葱的树冠，心里突然涌起了一阵强烈的悸动。
　　
　　先用海量的数据让深层网络学到通用的底层世界知识，然后再拿少量的数据去微调适配具体的对话任务……
　　
　　这套预训练加微调的迁移学习范式，今天可以用在计算机视觉的CNN网络上，那明天呢？
　　
　　如果有一天，算力足够庞大，架构足够先进，把这套思想原封不动地平移到自然语言处理上。
　　
　　把人类历史上所有的书籍、文章、对话全部喂给一个超大规模的神经网络去进行无监督预训练，让它自己学会人类语言的底层逻辑与知识表征。
　　
　　然后再用自己女儿小爱生前的日记、语音和聊天记录去进行微调……
　　
　　再最后用一个新的模型，完全模拟小爱的脑神经?
　　
　　不对，不对，准确的来说这是连接现在这个卷积神经网络时代，与未来那个能够真正理解人类语言的超级大模型时代之间，最重要的一座思想桥梁！
　　
　　不过，短暂的激动过后，成文飞很快便强迫自己冷静了下来。
　　
　　作为一个严谨的科学家，他比谁都清楚，距离真正让小爱在数字世界里睁开眼睛，摆在他面前的可不仅仅只有一个通用预训练底座。
　　
　　还有一个更致命、更棘手的难题。
　　
　　那就是记忆与状态的持久化。
　　
　　“成教授？您怎么突然发呆了？”
　　
　　正在电脑检查代码的何凯明转过头，疑惑地看了成文飞一眼。
　　
　　“没什么，我只是在想，咱们眼前这套音箱的语音交互系统，包括我们刚刚跑通的残差网络，本质上都还是个没有灵魂的算盘。”