解码大型语言模型及其工作原理

将 numpy 作为 np 导入
导入数学

def Softmax(x)：
返回 np.exp(x) / np.sum(np.exp(x), axis=0)

def scaled_dot_product_attention(Q, K, V)：
# 计算 Q 和 K 的点积，按 K 维度的平方根缩放
matmul_qk = np.dot(Q, K.T) / math.sqrt(K.shape[1])

# 应用softmax来获取注意力权重
注意权重 = softmax(matmul_qk)

# 乘以V得到输出
输出 = np.dot(attention_weights, V)
返回输出，attention_weights

# 令牌嵌入示例（随机初始化）
token_embeddings = np.random.rand(3, 64) # 3 个 token，64 维嵌入

# 模拟查询 (Q)、键 (K) 和值 (V) 矩阵
Q = token_embeddings
K = token_embeddings
V = token_embeddings

# 应用自注意力
注意输出，注意权重=scaled_dot_product_attention（Q，K，V）

print("注意力输出：", Attention_output)
print("注意力权重：",attention_weights)

代码说明

• Softmax 函数：用于标准化注意力分数，确保它们的总和为 1。
• 缩放点积注意力：
  • 该函数是自注意力机制的核心，用于计算注意力分数。
  • 它按键维度的平方根缩放查询 (Q) 和键 (K) 矩阵的点积，这有助于在训练期间稳定梯度。
  • 将 softmax 函数应用于这些分数，并使用生成的权重来创建值的加权和 (V)，代表注意力机制的输出。
• 令牌嵌入：
  • 为了便于说明，我们使用随机初始化的嵌入。在实践中，这些可以通过培训来学习。
  • 为了简单起见，我们将同一组嵌入视为查询、键和值。
• 输出：
  • attention_output 表示应用自注意力后变换后的嵌入。
  • attention_weights 可以深入了解每个标记对序列中其他标记的关注程度。

此代码提供了 Transformers 中自我注意力如何运作的基本概览。现实世界的 Transformer 模型要复杂得多，每层都有层归一化、残差连接和前馈网络等附加组件，所有这些对于其高级性能都至关重要。

拓展视野：从以文本为中心的法学硕士到大型多模式模型 (LMM) 的多功能世界 

从以文本为中心的法学硕士领域到更多样化的大型多模式模型 (LMM) 领域，我们看到了功能的扩展。虽然法学硕士擅长解释和生成文本，但法学硕士将这种能力扩展到包括其他类型的数据，尤其是图像。这一转变标志着模型设计和功能的重大演变。 LMM 将 Transformer 的文本处理能力与能够处理视觉数据的先进神经网络架构集成在一起，例如卷积神经网络 (CNN) 和视觉 Transformers (ViT)。这些技术在 LMM 中的协同作用使它们能够处理和理解数据类型的组合，例如文本和图像。

LMM 中的图像处理

图像处理中的 CNN 和 ViT

• 卷积神经网络 (CNN)：CNN 由多层卷积滤波器构成，可系统地对输入图像应用卷积运算。每个卷积层从其输入中提取特征并将这些特征传递到后续层。早期的层倾向于捕获基本的视觉特征，例如边缘和纹理，而较深层的层可以识别更复杂的图案和对象。
  • 示例：在零售聊天机器人中，CNN 可能会分析产品图像来识别颜色和设计等特征，然后将其与库存数据进行匹配。
• Vision Transformers (ViTs)：ViTs 是一种较新的方法，将 Transformer 架构应用于图像处理。 ViT 将图像划分为块并线性嵌入每个块，然后进行位置编码。然后通过一系列 Transformer 层处理补丁嵌入序列。 ViT 利用自注意力机制来关注图像的不同部分，捕获局部和全局特征。例如，在艺术分析应用程序中，ViT 可以将艺术品分解为多个片段，以了解细节和整体构图。
• 特征向量转换：经过 CNN 或 ViT 处理后，生成的特征向量代表关键的视觉信息。然后将这些向量进行转换，以与用于文本中标记嵌入的高维空间对齐。这种对齐对于创建可以比较和关联文本和视觉信息的共同点至关重要。例如，在医疗诊断工具中，MRI 扫描的特征向量可以与临床记录相结合，以提高诊断准确性。

LMM 中的统一表示

组合模式

在 LMM 中，目标是创建一个空间，其中图像的特征向量和文本的标记嵌入可以共存并一起处理。这种共存允许模型执行同时考虑文本和视觉信息的操作，从而能够更全面地理解多模式内容。 LMM 中的统一表示支持一系列应用。例如，他们可以为图像生成描述性标题，或回答需要从图像和随附文本中获得见解的问题。此功能在内容审核等场景中特别有用，在这些场景中，理解文本和图像的上下文至关重要。

LMM 中的跨模态注意力

跨模式的关注

LMM 中的

跨模式注意力机制允许该模型根据另一种模式提供的上下文专注于一种模式的特定部分。例如，在处理文本-图像对时，模型可能会关注与文本内容直接相关的图像特定区域。

增强理解

这种跨模式注意力对于需要综合理解文本和视觉信息的任务至关重要。它允许 LMM 执行复杂的分析，例如根据图像的视觉元素和随附文本解释图像的情感，或提供视觉内容的详细解释。

说明性示例

我将通过一个 Python 代码示例来说明模型如何同时处理图像和文本。这个例子是高度简化的，并不代表实际 LMM 的复杂性。

将 numpy 作为 np 导入

# 处理文本和图像的假设函数
def process_text(文本):
# 该函数会将文本转换为嵌入
return np.array([0.5, 1.2, 0.7]) # 虚拟嵌入

def process_image（图像）：
# 该函数将使用 CNN 或 ViT 来提取特征
return np.array([1.0, 0.8, 0.3]) # 虚拟图像特征

# 示例文本和图像
text =“垫子上的猫”
image = "cat_image.jpg" # 实际上，这将是图像数据

# 处理文本和图像
text_embeddings = process_text(文本)
图像特征 = 处理图像（图像）

# 结合嵌入和特征
组合表示 = np.concatenate((text_embeddings, image_features))

print("组合文本和图像表示：",combined_representation)