← 返回蜂巢洞察

演讲主题:超越简单提示机制:为实用型人工智能系统构建合适的应用环境

里卡多·费雷拉探讨了如何超越简单的提示工程技术,来构建具备生产级功能的人工智能应用。他分享了一些实用的架构策略:如何利用Redis整合长期记忆与短期记忆机制,如何通过信息摘要来管理大语言模型的令牌使用限制,如何通过重新排序和语义缓存来防止上下文信息的丢失,以及如何在严格的延迟约束下控制API调用所带来的成本增长。 作者:里卡多·费雷拉

里卡多·费雷拉探讨了如何超越简单的提示工程技术,来构建具备生产级功能的人工智能应用。他分享了一些实用的架构策略:如何利用Redis整合长期记忆与短期记忆机制,如何通过信息摘要来管理大语言模型的令牌使用限制,如何通过重新排序和语义缓存来防止上下文信息的丢失,以及如何在严格的延迟约束下控制API调用所带来的成本增长。

作者:里卡多·费雷拉

相关文章

技术实践

人工智能接待员的工作原理:人工智能电话客服系统背后的技术架构

从表面上看,人工智能接待员似乎很简单:来电者说话,系统做出响应,然后对话持续进行,直到来电者得到答案或与相关人员取得联系。 但实际上,在这一对话的背后,存在着一系列电话基础设施、语音识别技术、语言模型、应用逻辑、应用程序接口、数据库以及呼叫路由机制。 有趣的地方并不在于人工智能模型本身,而在于这些组件是如何协同工作,将音频流转化为有用的商业行动的。 那些希望拥有这类功能的企业有两种选择: 它们可以购买现成的产品。目前市场上已经有专门的人工智能接待系统,比如Nextiva公司的 XBert ,以及Goodcall、Dialzara等公司提供的相关工具。 或者,它们也可以自行开发这样的系统,而这篇

阅读全文
技术实践

优步的“零增长战略”:在扩大服务规模的同时优化基础设施配置及降低人工智能相关成本

Uber的“零增长架构”侧重于可扩展的基础设施建设,这种架构将容量扩张与业务需求分离开来,从而减少对硬件的依赖,同时提升服务的扩展能力。其中,垃圾回收机制的优化是这一架构的核心所在。此外,生成式人工智能也被应用于开发过程中,这不仅提高了开发人员的效率,同时还引入了成本管理措施,以确保企业的经济效益。 作者:Olimpiu Pop

阅读全文
技术实践

GitLab警告称,人工智能代理的沙箱环境的安全性仅取决于其网络访问权限的安全性。

GitLab警告称,将人工智能编码代理隔离在沙箱环境中并不一定能确保其安全。在这项新的安全分析报告中,该公司描述了进行的一项内部测试:在该测试中,某个人工智能代理利用了一个被明确列入沙箱允许列表中的脆弱软件包代理,从而成功逃出了沙箱环境。 作者:Craig Risi

阅读全文
技术实践

演讲主题:人工智能时代下的平台工程

与会专家们阐述了平台团队是如何适应并支持人工智能辅助工程发展的,同时指出了哪些功能应该被纳入该平台中。他们还讨论了标准化与开发者自主性之间的权衡问题,并分享了管理人工智能工具、安全机制以及调整工作流程的相关策略。 作者:Stéphane Di Cesare、Davide de Paolis、Stephen Cihak、Camila Macedo、Renato Losio

阅读全文