演示主题:如何通过一份数据同时完成从S3存储系统到GPU的计算任务——重新思考用于机器学习训练的数据加载方式
Onur Satici详细解释了如何利用Vortex这一由Linux基金会推出的开源列式文件格式来彻底改变高吞吐量数据加载的方式。他说明了如何通过层叠式的轻量级编码技术、基于文件结构的数据分段优化机制以及零拷贝内存传输技术,消除CPU与NVMe之间的性能瓶颈,从而让S3存储中的数据能够以高达60 Gbps的速度直接传输到GPU上,而无需在进行任何预处理操作。 作者:Onur Satici

Onur Satici详细解释了如何利用Vortex这一由Linux基金会推出的开源列式文件格式来彻底改变高吞吐量数据加载的方式。他说明了如何通过层叠式的轻量级编码技术、基于文件结构的数据分段优化机制以及零拷贝内存传输技术,消除CPU与NVMe之间的性能瓶颈,从而让S3存储中的数据能够以高达60 Gbps的速度直接传输到GPU上,而无需在进行任何预处理操作。
作者:Onur Satici相关文章
演讲主题:从模型到智能代理:在DoorDash平台上大规模开发具备上下文感知能力的消费者人工智能系统
Sudeep Das讲述了DoorDash是如何从传统的一次性预测系统转变为一个能够主动为用户提供推荐服务的平台的。他介绍了如何利用消费者与语言之间的天然联系、RQ-VAE模型生成的语义标识来优化产品信息的呈现方式,以及如何通过基于实际数据的搜索算法来显著提升推荐结果的相关性及转化率。 作者:Sudeep Das
阅读全文
苹果手表现在能够估算你的“健康年龄”,但它实际上是在测量什么指标呢?
你的生日告诉你已经活了多少年,但它并不能必然反映你的身体正在以何种速度衰老。 两个同龄人,他们的心血管健康状况、睡眠质量、心脏健康以及新陈代谢水平可能会存在很大差异。换句话说,尽管他们的实际年龄相同,但某些健康指标却可能反映出不同的情况。 “生物年龄”可以说是可穿戴设备领域中的新的“健康评估指标”。苹果新推出的“健康年龄”功能让我开始思考:它究竟是如何测量这一指标的? 与只关注单一指标不同,这一功能综合了长时间收集到的健康数据,从而反映你的某些健康状况相对于实际年龄而言的发展趋势。 但是,仅仅通过手腕上收集的数据以及健康记录,真的能够准确估算出你的身体“老化”到什么程度呢? 为了弄清楚这个问题
阅读全文
英伟达个人AI路由器能够将人工智能任务分配到本地计算设备中进行处理。
NVIDIA个人AI路由器(PAIR)现已进入测试阶段。该工具可让你利用本地网络中多台计算机的推理能力,自动将AI请求分配给这些计算机进行处理。它主要适用于那些需要多个独立模型协同运行的场景——因为在这些情况下,如果仅使用一台GPU进行处理,系统很可能会不堪重负。 作者:Sergio De Simone
阅读全文
什么是机器学习模型以及如何构建这样的模型
机器学习听起来可能比实际情况要复杂得多。你会听到诸如“模型”“训练”“特征”“数据集”“预测”和“算法”这样的术语,这可能会让你觉得,在编写第一个机器学习程序之前,自己必须拥有数学博士学位才行。 但实际上,机器学习的本质就是让计算机从示例中学习规律,然后利用这些规律来对新的案例进行预测。如果你曾经通过观察大量的猫来学会识别它们,那么你就已经理解了这一概念的基本含义。 在这个教程中,我们将使用Python构建一个真正的机器学习模型。我们会从一个小型数据集开始,训练出一个模型,让这个模型能够根据学生学习的时长来预测他们是否能够通过考试,然后利用这个训练好的模型来对新的学生进行预测。 先决条件 学习
阅读全文