使用矢量数据库执行高级 Facebook 事件数据分析

 # 导入数据操作和日期解析所需的库
将 pandas 导入为 pd
将 numpy 导入为 np
从日期时间导入日期时间
从 dateutil 导入解析器

# 解析可能表示范围或单个日期的日期字符串的函数
def parse_dates(date_str):
    # 检查日期字符串是否包含破折号，表示范围
    如果 date_str 中有“-”：
        parts = date_str.split('-')
        # 如果字符串分成两部分，则它是有效范围
        如果 len(部分) == 2:
            尝试：
                # 解析开始和结束日期，将它们格式化为可读格式
                start_date = parser.parse(parts[0], fuzzy=True).strftime('%a, %b %d')
                end_date = parser.parse(parts[1], fuzzy=True).strftime('%a, %b %d')
                返回开始日期、结束日期
            除了值错误：
                # 如果出现解析错误，则不执行任何操作（将在下面处理）
                经过
    # 如果不是范围或者解析范围失败，请尝试解析为单个日期
    尝试：
        parsed_date = parser.parse(date_str, fuzzy=True)
        # 对 start_date 格式化单个日期，对 end_date 格式化不同
        start_date = parsed_date.strftime('%a, %b %d AT %I:%M %p EDT')
        end_date = parsed_date.strftime('%a, %b %d') # 省略 end_date 的时间
        返回开始日期、结束日期
    除了值错误：
        # 如果解析失败则返回 NaN
        返回 np.nan, np.nan

# 从日期字符串中提取详细日期、时间和日期的函数
def extract_date_time_day(date_str):
    尝试：
        # 解析日期字符串，允许输入格式具有一定的灵活性
        parsed_date = parser.parse(date_str, fuzzy=True)
        # 提取并格式化日期、时间和日期部分
        日期 = parsed_date.strftime('%Y-%m-%d')
        日 = parsed_date.strftime('%a')
        # 判断原始字符串是否包含时间成分
        time_component = parsed_date.strftime('%I:%M %p') 不在 date_str 中
        time = parsed_date.strftime('%H:%M:%S') 如果不是 time_component 否则 np.nan
    除了值错误：
        # 如果解析失败，则将日期、时间和日期设置为 NaN
        日期、时间、日 = np.nan、np.nan、np.nan
    
    返回日期、时间、日期

# 在数据框中应用 parse_dates 函数，为开始日期和结束日期创建新列
dataframe1[['Start_Date', 'End_Date']] = dataframe1.apply(lambda row: pd.Series(parse_dates(row['Datetime'])), axis=1)

# 删除 Start_Date 为 NaN 的行，表示解析不成功
dataframe = dataframe1.dropna(子集=['Start_Date'])

# 应用 extract_date_time_day 将开始日期和结束日期拆分为单独的日期、时间和日期列
dataframe['Start_Date'], dataframe['Start_Time'], dataframe['Start_Day'] = zip(*dataframe['Start_Date'].apply(extract_date_time_day))
dataframe['End_Date'], _, dataframe['End_Day'] = zip(*dataframe['End_Date'].apply(extract_date_time_day))

# 删除原来的“日期时间”列，因为不再需要它
dataframe=dataframe.drop(['日期时间'], axis=1)

# 将“Start_Date”和“End_Date”转换为日期时间格式，仅提取日期部分
dataframe['Start_Date'] = pd.to_datetime(dataframe['Start_Date']).dt.date
dataframe['End_Date'] = pd.to_datetime(dataframe['End_Date']).dt.date

# 将“Start_Time”转换为日期时间格式，保留时间信息
dataframe['Start_Time'] = pd.to_datetime(dataframe['Start_Time'])

 # 导入 OpenAI 库以进行 API 访问。
从 openai 导入 OpenAI
# 使用 API 密钥初始化 OpenAI 客户端。
openai_client = OpenAI(api_key="your_openai_api_key_here")
# 获取文本嵌入的函数
def get_embedding(text, model="text-embedding-3-small"):
    返回 openai_client.embeddings.create(input=text, model=model).data
嵌入 = get_embedding(dataframe["描述"].tolist())
# 从嵌入对象中提取嵌入向量
向量 = [embedding.embedding 用于嵌入嵌入]
数组 = np.array(向量)
embeddings_series = pd.Series(列表(数组))
# 将嵌入添加为 DataFrame 中的新列。
dataframe['Description_Embeddings'] = embeddings_series

 导入 clickhouse_connect
客户端 = clickhouse_connect.get_client(
    主机='此处主机名',
    端口=443，
    用户名='用户名_此处',
    密码='passwd_here'
）

 client.command("""
    创建表default.Events (
    名称字符串，
    描述字符串，
    用户_Going Int64，
    Users_感兴趣的 Int64，
    Users_Responded Int64，
    城市弦，
    按字符串组织，
    街道地址字符串，
    开始日期日期32，
    结束日期可为空（Date32），
    Start_Time可为空(DateTime64),
    开始日字符串，
    End_Day 字符串，
    描述_嵌入数组(Float32),
    约束 check_data_length 检查长度（描述_嵌入）= 1536
    ) 引擎 = MergeTree()
    订购依据（姓名）；
""")

 batch_size = 10 # 根据需要调整

num_batches = len(dataframe) // 批量大小

对于范围内的 i（num_batches）：
    start_idx = i * 批量大小
    结束 idx = 开始 idx + 批量大小
    批处理数据=数据帧[start_idx:end_idx]
    # print(batch_data["Description_Embeddings"])
    client.insert("default.Events",batch_data.to_records(index=False).tolist(),column_names=batch_data.columns.tolist())
    print(f"已插入批次 {i+1}/{num_batches}。")

客户端.命令("""
ALTER TABLE 默认值.事件
    添加向量索引向量_索引描述_嵌入
    类型 MSTG
""")

 结果=client.query("""
        从默认值中选择名称、描述。事件限制 10
    “””）
对于 results.named_results() 中的行：
        打印（行[“名称”]）
打印（行['描述']）

 结果 = client.query(f"""
        选择姓名、城市、用户_前往、用户_感兴趣、用户_已回复
        来自默认事件
        按用户_去 DESC、用户_感兴趣 DESC 排序
        限制 10
    “””）
对于 results.named_results() 中的行：
        print("事件名称", row["名称"])
        print("城市", 行["城市"])
        print("用户去", row["Users_Going"])
print("感兴趣的用户", row["Users_Interested"])

 embeddings=get_embedding([“全国运行时间最长的节目之一 - 自 1974 年开始运营......现在是我们的第 50 周年了！！！我们的 Schenectady”])
embeddi=嵌入[0].嵌入
结果 = client.query(f"""
        选择名称、城市、描述、Users_Going、距离(Description_Embeddings, {embeddi}) 作为 dist
        来自默认事件
        其中城市如“%New York%”且距离 < 1.5
        ORDER BY Users_Going DESC,dist
        限制 10
    “””）
对于 results.named_results() 中的行：
        print("事件名称", row["名称"])
        print("描述", 行["描述"])
print("Users Going ", row["Users_Going"])