人工智能前沿技术解读 · 按栏目浏览全部文章

寻想集团-超级人工智能有限公司全部文章

栏目文章

大模型架构与训练

从注意力结构、规模定律到长上下文能力,理解大模型本身的工程约束。

  1. 昏暗的服务器通道,两侧机柜指示灯向远处延伸,其中一格亮着暖黄色指示灯。大模型架构为什么收敛到同一种形式注意力机制成为通用选择之后,架构变体主要在位置处理与长程结构上做文章。大模型架构与训练
  2. 黑色背景上的参数网络可视化,密集的灰色节点由细线相连,其中一条路径以暖黄色高亮。预训练阶段与规模定律规模定律描述的是可预测性,不是"越大越好"的保证。大模型架构与训练
  3. 一条由平行光线构成的深色通道,向远处的黑色深处收束,灭点处泛出微弱黄光。长上下文到底解决了什么问题把更多材料放进一次请求,解决的是"读得完",而不是"想得对"。大模型架构与训练