第1104章 你说的这些，叫做大模型
道诡异仙小说推荐阅读：Apop之我在首尔当外教、赘婿出山、泥泞、股神传奇、乡村中医李茂阳、开局账号被盗，反手充值一百万、极品全能学生、推拿、最强狂兵、带着超市重返年代、都市：我的器官能自己强化、不装了，我有五个天仙姐姐！、国宝神鉴
“哈哈，今年的春招，甘总几乎把国内相关领域的应届生，硕士生，博士生都给招来了，不少人已经开始办入职手续了。”
“就是春招的质量不如秋招的，不过你放心，今年秋招规模比春招更大。”
成文飞笑了一下，这个陈总看来投入的决心真的不小，竟然敢把国内相关专业的学生全都打包。
国内的情况再差，那一口气全招来起码也得有个千八百人呢。
“哦对了，还有一个沈天行教授，是当年沈老的表侄，不出意外的话今年可能也会入职咱们红星，到时候你们可以多交流一下，他在斯坦福就是专攻GPU架构层以及视觉加速的。”
“谁？”
“沈天行？”听到沈天行的名字，成文飞明显愣了一下，“斯坦福会放人？”
“当年他们放走一个沈永健，可是被CIA各种电，就差在他们学校建设一个核电站了。”
作为行业内的人，成文飞也知道当年那个能手搓芯片的沈老，也自从他以后，斯坦福就成了微电子的圣地，现在陈星说把沈老的表侄给招了过来。
那斯坦福能放人？
万一这位沈天行也值五个师呢？
“哈哈，放不放人我不操心，这是甘总应该操心的事情。”
“行了，成教授，你具体的项目，方向，等你安顿下来，可以起草一份报告给我，我来审批你的项目。”
陈星想的很清楚，字研，字研。
那得先有项目不是。
所以他需要成文飞先立项，看看先做哪方面，是计算框架，还是其他方面的。
当然，现在基础太薄，陈星想让他做神经网络推理引擎，也就是侧端推理库也没办法。
训练都还没开始有呢，怎么让模型在推理引擎上跑？
成文飞组织了一下语言，这个问题他在答应入职红星以后就一直在想，红星在这方面没有任何的基础，只有陈星的一个决心而已。
自己就必须从最基础的做起，先做一个深度学习计算框架，然后是分布式训练调度子系统，最后才是神经网络引擎。
其中分布式训练调度子系统是最重要的，搞定了单机多卡、多机集群调度，梯度分片、梯度聚合，任务分配后，自己才有充足的理由让陈总建设更多，更大的算力中心。
有了算力中心以后，是吧……
“陈总，我是这么想的，首先要搭建一个框架，这是所有模型的基础，项目名字叫做大规模时序神经网络仿真底座，然后分布式调度、推理引擎、时序信号工具链、数据流水线、硬件适配层，层层展开。”
“具体的内容稍后我会整理出来给到您。”
陈星对成文飞的状态非常满意，这就是大牛的厉害之处。
他能总揽整个项目，不同的项目，不同的分工，不同的方向，都是由他进行分配。
也可以称之为总工程师。
说到这里，成文飞犹豫了一下，看了一眼陈星。
陈星也看出他似乎有什么话要说，主动问道：“成教授，你加入红星，那么咱们就是一家人，有什么话都可以畅所欲言的。”
“是方向有问题还是说其他的？”
听到陈星这么说，成文飞深吸一口气，鼓起勇气说道：“陈总，过去几年我一直在想一个问题，目前大家都在做窄模型，也就是语音一套，做图像另一套网络，模型不能互相复用。”
“做的都是大规模神经网络、大型深度网络、无监督预训练网络，准确的来说是先用大量无标注数据学通用特征，再拿少量标注数据适配具体任务，BengiO、HintOn 都做过相关研究。”
“我就在想，那么可不可以做一套巨型神经网络底座，在海量无标注公开数据上做无监督预训练，学习通用世界知识，之后不需要完整重训，简单适配，就可以处理语言、对话、图像推理等大量不同任务。”
“它可以拥有巨大参数量、海量训练语料、足够强悍的并行算力，或者说我们这个模型不是为某一个单一功能写死，而是先学常识，再去解决任务。”
“最后实现能自然对话、逻辑推理，接近人的认知。”
说完以后，成文飞观察着陈星的表情，结果发现这位新老板脸上充满了惊讶，于是赶紧补充道，“陈总，我知道现在不可能直接实现成品，这也只是我的一个想法，但我们可以提前把所有底层基础设施全部搭建完成。”
“这是我们长远目标，目标。”
“现在可以为这个目标做好地基。”
陈星此时此刻内心处在狂喜之中，成文飞不愧是成文飞。
他说的是大规模神经网络，大型深度网络。
这些词在未来有一个更加准确的称呼。
叫做大模型！
2013年啊，成教授就已经有大模型的概念，通用模型的模糊概念了！
“不不不，成教授，你说的也是我想说的，我的设想就是构建一个规模足够大的神经网络，先用海量无标注数据预训练，学习世界的通用表征，之后不需要全部重训，只做少量调整，就可以处理语言、对话、甚至图像等多种任务。它不是 AGI 完整的通用人工智能，但它是通向 AGI 的一块核心基石。”
“为了拥有这块基石，我才邀请成教授你到红星来的。”
“而你说的这些，可以称之为大模型。”
成文飞此时也产生了一种异样的感觉。
陈总好懂啊。
陈总好懂我啊。
这套理论他之前在宾夕法尼亚的时候也和业内人士说过，只不过他们都说自己异想天开。
还大型深度学习网络，现在的CPU算力集群怎么可能处理得了海量数据。
更别提训练了。
所以那时候成文飞就知道，CPU算力集群，一定会被淘汰掉，效率太低太低了。
想实现真正的模型训练，必须要有效率更高的方式，霉国那边目前大家都在尝试用图形计算卡来实现，只不过还没有厂商有成果和论文在学术界出现。
不过成文飞觉得，用分布式的GPU进行训练，绝对是未来的方向，所以半个月前听到甘良才说红星在自研GPU和计算卡的时候，就明白一件事。
红星的在一些方向上，是确定的，是开始行动的，是走在霉国很多机构和公司前面的。
“那么陈总，要实现你所谓的大模型，我口中的大型深度网络，就必须要有足够的算力，现在的CPU计算到了一定瓶颈，大家准备转向GPU并行计算，那我想问一下，这方面咱们红星是怎么打算的？”
陈星不语，走到自己办公桌前，并示意成文飞也过来。
然后拿出了无冬大师给自己的那份报告。
“成教授，你先看看这个。”
http://www.daoweiyixian.com/yt129684/50759155.html
请记住本书首发域名：www.daoweiyixian.com。道诡异仙手机版阅读网址：www.daoweiyixian.com
“就是春招的质量不如秋招的，不过你放心，今年秋招规模比春招更大。”
成文飞笑了一下，这个陈总看来投入的决心真的不小，竟然敢把国内相关专业的学生全都打包。
国内的情况再差，那一口气全招来起码也得有个千八百人呢。
“哦对了，还有一个沈天行教授，是当年沈老的表侄，不出意外的话今年可能也会入职咱们红星，到时候你们可以多交流一下，他在斯坦福就是专攻GPU架构层以及视觉加速的。”
“谁？”
“沈天行？”听到沈天行的名字，成文飞明显愣了一下，“斯坦福会放人？”
“当年他们放走一个沈永健，可是被CIA各种电，就差在他们学校建设一个核电站了。”
作为行业内的人，成文飞也知道当年那个能手搓芯片的沈老，也自从他以后，斯坦福就成了微电子的圣地，现在陈星说把沈老的表侄给招了过来。
那斯坦福能放人？
万一这位沈天行也值五个师呢？
“哈哈，放不放人我不操心，这是甘总应该操心的事情。”
“行了，成教授，你具体的项目，方向，等你安顿下来，可以起草一份报告给我，我来审批你的项目。”
陈星想的很清楚，字研，字研。
那得先有项目不是。
所以他需要成文飞先立项，看看先做哪方面，是计算框架，还是其他方面的。
当然，现在基础太薄，陈星想让他做神经网络推理引擎，也就是侧端推理库也没办法。
训练都还没开始有呢，怎么让模型在推理引擎上跑？
成文飞组织了一下语言，这个问题他在答应入职红星以后就一直在想，红星在这方面没有任何的基础，只有陈星的一个决心而已。
自己就必须从最基础的做起，先做一个深度学习计算框架，然后是分布式训练调度子系统，最后才是神经网络引擎。
其中分布式训练调度子系统是最重要的，搞定了单机多卡、多机集群调度，梯度分片、梯度聚合，任务分配后，自己才有充足的理由让陈总建设更多，更大的算力中心。
有了算力中心以后，是吧……
“陈总，我是这么想的，首先要搭建一个框架，这是所有模型的基础，项目名字叫做大规模时序神经网络仿真底座，然后分布式调度、推理引擎、时序信号工具链、数据流水线、硬件适配层，层层展开。”
“具体的内容稍后我会整理出来给到您。”
陈星对成文飞的状态非常满意，这就是大牛的厉害之处。
他能总揽整个项目，不同的项目，不同的分工，不同的方向，都是由他进行分配。
也可以称之为总工程师。
说到这里，成文飞犹豫了一下，看了一眼陈星。
陈星也看出他似乎有什么话要说，主动问道：“成教授，你加入红星，那么咱们就是一家人，有什么话都可以畅所欲言的。”
“是方向有问题还是说其他的？”
听到陈星这么说，成文飞深吸一口气，鼓起勇气说道：“陈总，过去几年我一直在想一个问题，目前大家都在做窄模型，也就是语音一套，做图像另一套网络，模型不能互相复用。”
“做的都是大规模神经网络、大型深度网络、无监督预训练网络，准确的来说是先用大量无标注数据学通用特征，再拿少量标注数据适配具体任务，BengiO、HintOn 都做过相关研究。”
“我就在想，那么可不可以做一套巨型神经网络底座，在海量无标注公开数据上做无监督预训练，学习通用世界知识，之后不需要完整重训，简单适配，就可以处理语言、对话、图像推理等大量不同任务。”
“它可以拥有巨大参数量、海量训练语料、足够强悍的并行算力，或者说我们这个模型不是为某一个单一功能写死，而是先学常识，再去解决任务。”
“最后实现能自然对话、逻辑推理，接近人的认知。”
说完以后，成文飞观察着陈星的表情，结果发现这位新老板脸上充满了惊讶，于是赶紧补充道，“陈总，我知道现在不可能直接实现成品，这也只是我的一个想法，但我们可以提前把所有底层基础设施全部搭建完成。”
“这是我们长远目标，目标。”
“现在可以为这个目标做好地基。”
陈星此时此刻内心处在狂喜之中，成文飞不愧是成文飞。
他说的是大规模神经网络，大型深度网络。
这些词在未来有一个更加准确的称呼。
叫做大模型！
2013年啊，成教授就已经有大模型的概念，通用模型的模糊概念了！
“不不不，成教授，你说的也是我想说的，我的设想就是构建一个规模足够大的神经网络，先用海量无标注数据预训练，学习世界的通用表征，之后不需要全部重训，只做少量调整，就可以处理语言、对话、甚至图像等多种任务。它不是 AGI 完整的通用人工智能，但它是通向 AGI 的一块核心基石。”
“为了拥有这块基石，我才邀请成教授你到红星来的。”
“而你说的这些，可以称之为大模型。”
成文飞此时也产生了一种异样的感觉。
陈总好懂啊。
陈总好懂我啊。
这套理论他之前在宾夕法尼亚的时候也和业内人士说过，只不过他们都说自己异想天开。
还大型深度学习网络，现在的CPU算力集群怎么可能处理得了海量数据。
更别提训练了。
所以那时候成文飞就知道，CPU算力集群，一定会被淘汰掉，效率太低太低了。
想实现真正的模型训练，必须要有效率更高的方式，霉国那边目前大家都在尝试用图形计算卡来实现，只不过还没有厂商有成果和论文在学术界出现。
不过成文飞觉得，用分布式的GPU进行训练，绝对是未来的方向，所以半个月前听到甘良才说红星在自研GPU和计算卡的时候，就明白一件事。
红星的在一些方向上，是确定的，是开始行动的，是走在霉国很多机构和公司前面的。
“那么陈总，要实现你所谓的大模型，我口中的大型深度网络，就必须要有足够的算力，现在的CPU计算到了一定瓶颈，大家准备转向GPU并行计算，那我想问一下，这方面咱们红星是怎么打算的？”
陈星不语，走到自己办公桌前，并示意成文飞也过来。
然后拿出了无冬大师给自己的那份报告。
“成教授，你先看看这个。”
http://www.daoweiyixian.com/yt129684/50759155.html
请记住本书首发域名：www.daoweiyixian.com。道诡异仙手机版阅读网址：www.daoweiyixian.com