AI生成技术的优化挑战
一次最近的EE Times论坛针对AI生成应用进行了效率和灵活性的优化研讨。目前，AI生成硬件的制造商们正在致力于降低使用大型语言模型（LLMs）的成本，同时优化其效率和灵活性。
这项挑战源于LLMs参数的增长，这些参数的数量可以达到数十亿甚至万亿，SambaNova系统的产品高级副总裁马歇尔·乔伊在最近的EE Times谈论会上如此表示。因此，他们在内存中加入了三层架构以解决延迟，带宽和容量问题，并降低运行这类模型所需的规模和经济成本。
然而，LLMs体积的膨胀正带来另一个瓶颈，即接触度。乔伊表示，一旦模型参数达到万亿级别，因为硬件和运行LLMs的成本禁止，除了前10、20位财富公司之外，大部分人无法使用这样的模型。为了让更多人能够使用大型模型，SambaNova对经典的“专家混合”方法进行了调整，并改变了其名称。
SambaNova选择训练因精确度和任务关联度最强而被选择出的专家模型，然后将这些模型包含在一个万亿参数的“专家组合”模型中，这种模型可以在不牺牲前期学习经验的前提下接纳新数据，并且减低了计算延迟和训练，精调和推理的成本。
AI硬件和模型工作的副总裁，马特·马蒂纳表示，打破“模型架构由其训练硬件塑造”的反馈环可以提高效率。通过使用联网架构搜索和硬件循环，模型训练者可以在训练过程中决定他将使用何种硬件进行推理，该硬件的样子以及特性，从而找到适合最终推理机器的模型。
云原生处理器供应商Ampere Computing的首席产品官Jeff Wittich建议，在系统层面进行专门化最佳，因为这样做能够提供能够根据未来的变化进行调整的灵活方案。他还表示，与一种特定任务处理器紧密集成的通用CPU是一个好办法，而这一点会随着时间的推移得到实现。
芯片品牌与适用领域：
1. 英特尔：Core i5，适用于个人电脑
2. AMD：锐龙5，适用于游戏电脑
3. Nvidia：GeForce RTX 2080，适用于图像渲染与游戏
4. 苹果：M1，适用于Mac电脑
5. 华为：麒麟990，适用于智能手机
6. 高通：骁龙865，适用于高端智能手机
