第157章 迎敌陷马

bsp;上个月，我们发布了云天天书3.5V的大模型。在图文理解、生成以及问答等方面，这些模型表现非常可观。在语言大模型方面，我们去年已经多次获得了权威榜单的第一名。

    五、云天励飞是怎么取得可观成绩的？背后有4项关键技术

    我们如何实现这些可观的成绩？尽管我们面临了诸多挑战，但我们总结归纳后认为有四个关键点值得分享：

    第一，解决成本的问题。精度可以通过数据堆积解决，在真正落地的时候，推理的成本是绕不过去的，我们的核心要义是解决高效的推理引擎问题。

    为此，我们自主研发了Space推理引擎，它与算子层高效融合，实现了无损的推理，并将推理速度提升了50%以上。具体来说，像生成式大模型，通常是进行单字符的向前预测，但我们想办法一次性预测多个字符，同时保持无损、精度不变。在这种情况下，我们通过对算法结构进行改进，实现了一次性预测多个词条，从而提升了推理效率。

    第二，降低核心成本。我们致力于提高效率和减少GPU存储需求，通过研究分布式切块，包括自适应的稀疏缓存解码等技术，我们成功将GPU需求降低了50%。

    第三，优化训练技术。优化训练是大模型落地的根基，所有的应用都在这个根基上长起来。我们研发了一套可伸缩的大模型训练技术，简单来说，训练一个大模型，这个大模型要考虑如果扩展它的参数或者说扩展它的规模、优化它的结构，能不能复用原有的大模型？

    答案是肯定的，这种方法也节省了训练成本。从深度和广度的角度来看，通过复用已训练的参数，达到深度扩展和宽度扩展，使训练效率翻倍，同时降低了达50%的训练成本。

    第四，神经网络处理器和推理芯片是我们近十年来的重点。如今已经历了四代迭代，从第一代NNP100到目前的NNP400T，我们已经完全灵活适配多种深度学习架构，特别是在Transformer架构下，我们进行了指令集优化、算子的协同设计以及高效的联合设计，支撑了Transformer结构的高效推理。此外，我们还是最早一批使用Chiplet结构适配大模型的公司之一。

    利用这四项核心技术，我们构建了支持边缘大模型的算法芯片化系统。我们的底层技术支持了神经网络处理器和自主研发的推理芯片，促进了国产化进程，避免了对供应链的依赖，并在此基础上实现了多模态大模型的运行。从行业应用的角度来看，我们有基于行业到边缘的场景大模型。更重要的是，我们支持用户进行无感知的在线微调，同时保护用户的数据隐私，而且成本极低。

    六、实现每秒30字高效推理，多模态大模型已落地G端

    云天天书的多模态大模型在文本理解和生成方面表现卓越，每秒可实现30字的高效推理速度，并能处理超过45万字的上下文。通过指定要求，快速生成符合特定格式的通知、决议等文件，从而有效推动办公自动化。大家可以看到整个生成过程内容极其简洁，速度极其快。

    此外，我们也支持带参考内容的文章修改和润色，可以复制一部分已有的参考内容，高效地进行润色、修改，变成大家所需要的东西。目前这一块的内容已成功地在多个地级市、省厅局委办落地。采用我们的多模态大模型进行办公赋能，对于项目报告的内容生成也是非常灵活。

    最后，在文本内容的理解和生成方面，很重要的一点是生成的质量。我们自带校阅功能，生成完之后可以多次优化里面的内容，达到自迭代、自进化的效果。云天天书多模态大模型支撑视频数据的理解和生成，很多数据训练过程结束之后，有一些数据是需要优化、编辑的，尤其在消费端的场景，比如对图片编辑，对3D数据合成。

    我们可以通过多模态大模型进行数据的合成，达到我们想要的3D数据。对于图片的数据理解，比如通过指令去渲染，通过指令去编辑整个图片，让大模型去理解，根据指令操作图片，甚至画出不同的风格。多模态大模型的Agent能力，以开源目标检测为例，这种技术为城市发展提供了支持，正如我们之前提到的，我们发布了一个AI模盒，旨在促进AI技术在城市领域的应用，其中就包括基于多模态大模型的支持。

    我们非常荣幸，能够身处在这个AI蓬勃发展，引领各行各业不断变革的时代。如今，AI大模型技术在各行各业遍地开花，我们希望携手各行各业的专家及朋友，共同引领多模态技术的落地，并迈向AGI大方向。

    以上是余晓填演讲内容的完整整理。

    搜索

    云天励飞

    国内大模型最新排名

    孙正义评价云天励飞

    云天励飞国内最强ai

    惊艳到极致的ai图片

    国资入股云天励飞