← 返回蜂巢洞察

多智能体协作使得Bedrock AgentCore具备了持续计算的能力

栏目 技术实践
分类 大数据
标签 代理 基础设施 计算 amazon 马特

亚马逊网络服务为Amazon Bedrock AgentCore添加了运行时实例这一新功能，这一计算选项为人工智能代理提供了专为复杂的长周期工作流程以及多代理协作而设计的持久性基础设施支持。 作者：马特·桑德斯

亚马逊网络服务为Amazon Bedrock AgentCore添加了运行时实例这一新功能，这一计算选项为人工智能代理提供了专为复杂的长周期工作流程以及多代理协作而设计的持久性基础设施支持。

作者：马特·桑德斯

相关文章

技术实践

FreeToken通过动态协同执行技术，使Frontier模型能够在消费者级别的硬件上顺利运行并进行推理计算

来自加州大学伯克利分校和麻省理工学院的研究人员开发出了FreeToken这一开源推理引擎，该引擎提升了混合专家模型在消费者级硬件上的实用性。通过实施动态调度策略并优化权重管理机制，FreeToken显著提高了边缘计算场景中人工智能应用的解码速度与执行效率，从而促进了自主推理系统的发展。 作者：Olimpiu Pop

阅读全文
技术实践

从Mixtral到Kimi K3：专家混合模型是如何发展的

在本文中，我们将探讨混合专家模型是如何从最初仅有少数几个“专家”组件，发展到每层包含近900个“专家”组件的，以及那些使得这种稀疏架构仍能保持可训练性且成本可控的压缩机制与稳定性机制。 开放权重的混合专家模型发展速度惊人：Mixtral的总参数数量约为470亿，DeepSeek-V3达到了6710亿，而Kimi K3的参数数量更是突破了万亿大关。令人惊讶的是，并非这些模型的规模本身，而是每个模型实际上只使用极少量参数来处理每一个输入数据。 Kimi K3拥有2.8万亿个参数，但其中仅有约1040亿个参数被用于处理任何一个输入数据。在几乎每一层中，都有一个小型“路由器”从896个专门的前馈网络中

阅读全文