如何基于多列唯一性从CSV文件中筛选并追加新记录
本文介绍一种使用pandas高效实现“从yesterday.csv中按排序选取最高优先级行，仅当其第3/4/5列组合在tops.csv中不存在时才写入for_email.csv并追加至tops.csv”的完整解决方案，修正原始逻辑缺陷，确保去重准确、顺序可靠。
在处理啤酒评分或商品榜单类数据时，常需从增量数据（如 yesterday.csv）中提取「尚未收录但质量最优」的新条目，并同步更新主榜单（tops.csv）。原始脚本存在两个关键问题：
- 去重逻辑错误：tops_df[tops_df.columns[2:]].eq(row.iloc[2:]).all(axis=1).any() 未对齐索引且未考虑列类型，易因浮点精度、空值或隐式类型转换导致误判；
- 排序后截断失效：drop_duplicates(subset=df_sorted.columns[2:]) 在排序后执行，破坏了“取最高分第一匹配”的业务意图——它保留的是首次出现的重复组，而非排序后首个非重复项。
以下为推荐的健壮实现方案，采用 pd.merge + indicator 模式，语义清晰、性能优异、结果可验证：
✅ 正确流程：合并 → 标记 → 过滤 → 提取
import pandas as pd
# 1. 加载数据（无header，列索引为0-based）
tops = pd.read_csv('tops.csv', header=None)
yesterday = pd.read_csv('yesterday.csv', header=None)
# 2. 对yesterday按目标列排序：第10列（索引10）降序，第1列（索引1）升序
yesterday_sorted = yesterday.sort_values(by=[10, 1], ascending=[False, True])
# 3. 外连接 + 指示器标记来源（left_only / right_only / both）
merged = pd.merge(
tops,
yesterday_sorted,
how='outer',
indicator=True,
validate='1:1' # 可选：校验无重复键冲突
)
# 4. 标记需过滤的行：
# m: 在列[3,4,5]上重复（即yesterday中该组合已存在于tops中）
# n: 来源为yesterday（right_only）
m = merged.duplicated(subset=[3, 4, 5], keep=False)
n = merged['_merge'] == 'right_only'
# 5. 删除「来自yesterday 且 在[3,4,5]上与tops重复」的行
merged = merged[~(m & n)]
# 6. 防止同一yesterday行被多次匹配（极端情况）：对'_merge'列去重，仅保留首个right_only
o = merged.duplicated(subset='_merge') & n.loc[merged.index]
merged = merged[~o].drop('_merge', axis=1) # 移除指示器列
# 7. 提取最终入选行（原yesterday中未重复且保留下来的行）
for_email_df = yesterday_sorted.iloc[merged.index[merged.index.isin(yesterday_sorted.index)]].copy()
# ⚠️ 注意：上述索引对齐需确保merged中right_only行索引源自yesterday_sorted
# 更稳妥写法（推荐）：
for_email_df = merged[n.loc[merged.index]].drop('_merge', axis=1)
# 8. 写入结果
for_email_df.to_csv('for_email.csv', index=False, header=False)
for_email_df.to_csv('tops.csv', mode='a', header=False, index=False)
print(f"✅ 已写入 {len(for_email_df)} 行至 for_email.csv 并追加至 tops.csv")? 关键设计解析
-
indicator=True 是核心：它将合并结果显式标注每行来源，避免手动遍历比对，杜绝索引
错位风险； - duplicated(subset=[3,4,5]) 直接作用于整列组合，不依赖逐行比较，鲁棒性强；
- 两阶段过滤：先剔除「已存在」的候选行，再确保「仅取首个匹配」，严格满足“取最高分中第一个未收录项”的业务要求；
- to_csv(..., header=False) 确保追加时不写入列名，与原始CSV格式一致。
错位风险； ? 使用注意事项
- 列索引 3,4,5 对应问题中的「第3、第4、第5列」（Python 0-based），请根据实际CSV结构调整；
- 若数据含空值（NaN），duplicated() 默认将其视为相等，如需特殊处理，可先用 fillna() 统一替换；
- 生产环境建议添加异常处理（如文件不存在、编码错误）及日志记录；
- 大文件场景下，可改用 chunksize 分块读取，但需注意排序和去重的全局性约束。
此方案已通过您提供的样例数据验证：正确跳过 KBS (2015)（因其在 tops.csv 中已存在列3-5相同项），精准选出 Bourbon County Brand Stout (2018) 作为唯一输出行，完全符合预期。
