← 返回蜂巢洞察

微软为在AKS上运行的AI代理开发的三层大语言模型路由架构

栏目 技术实践
分类 大数据
标签 处理 通话 电话 用于 claudio

微软发布了用于在Azure Kubernetes Service中路由代理流量的参考架构。该架构将相关问题归纳为三个关键方面：哪种模型会被用来接听电话、电话是如何被管理的，以及由哪块GPU来处理这些通话请求。 作者：Claudio Masolo

微软发布了用于在Azure Kubernetes Service中路由代理流量的参考架构。该架构将相关问题归纳为三个关键方面：哪种模型会被用来接听电话、电话是如何被管理的，以及由哪块GPU来处理这些通话请求。

作者：Claudio Masolo

相关文章

技术实践

HashiCorp Packer 1.16版本为机器镜像提供了原生的SLSA来源信息生成与验证功能

HashiCorp发布了Packer v1.16.0版本，该版本为该工具生成的每一张机器镜像提供了生成、签名及验证SLSA来源证明的功能。这一更新为各团队提供了关于这些机器镜像的生成过程的安全、防篡改的记录，而且无需使用任何额外的供应链管理工具即可实现这些功能。 作者：Claudio Masolo

阅读全文
技术实践

Netflix正在推动开源版本的Flink自动扩展功能的应用，以便能够支持超过30,000个流处理任务。

Netflix正在将旗下分布在多个AWS区域的3万多项流处理任务迁移至开源工具Apache Flink Autoscaler。这种基于操作员级别的调度机制有效弥补了Netflix原有集群级自动调度系统在处理复杂、具有状态依赖性的数据处理流程时所存在的局限性。据Netflix称，采用这一新方案后，某个团队的年度Flink计算成本降低了58%，每年因此节省约110万美元。 作者：Leela Kumili

阅读全文