Marico's space

从混乱 Excel 到关系图：Python 与 Pandas 实战

编程技术 2026-04-25 22:58:30 4

译者按：最近看到一篇关于用 Python 和 Pandas 处理混乱 Excel 数据的文章，写得非常扎实。作者从工业供应链的实际场景出发，讲了如何用 ETL 管道把垃圾数据变成关系图谱。特别是幂等性设计和交互式 Colab 演示，非常值得学习。

1. 钩子：工业数据熵

在标准学术理论中，数据集生来就是干净的。在活跃的工业供应链现实中，过时的 ERP 持续导出垃圾数组。

从遗留数据库系统导出的扁平物料清单（BOM）会立即让你陷入处理大规模结构熵的局面：完全空的参数单元格、隐藏在关键零件号内部的异常空白间距（例如 " SN74LS00N "），不规范的元件制造商命名（在大小写和像 "ti" 这样不同的缩写之间不一致地切换），以及严重的数据类型混乱——严格数字与原始文本变量原生冲突。

将这些原始扁平算法熵直接推入实时关系矩阵会触发完整的引用完整性失败。这个过程本质上需要部署一个干净的分段环境。

2. ETL 管道（抽取、转换、加载）

保护数据库边界需要一个严格的中介层。我们使用Pandas，它实际上是我们的底层 PostgreSQL 数据库的严格客观守门人。

在单一遥测数据到达后端模式之前，专用 Python 层严格强制执行数据集标准化。我们常规使用 .str.strip()、.str.title() 和 .fillna() 安全地执行硬操作，正确地统一外部制造商零件号（MPN），完全删除不稳定的残留空格，并在 API 链接前原生强制执行明确的 VALID ENUM 分类替换空生命周期约束。

def load_and_clean_data(filepath: str) -> pd.DataFrame:
    df = pd.read_csv(filepath)

    # 1. 激进空格消除和大写标准化（避免硬编码）
    df['Manufacturer_PN'] = df['Manufacturer_PN'].str.strip().str.upper()
    df['Manufacturer'] = df['Manufacturer'].str.strip().str.upper()

    # 2. 强制数据类型（保证数值数量）
    df['Quantity_per_Assembly'] = pd.to_numeric(
        df['Quantity_per_Assembly'].astype(str).str.strip(), 
        errors='coerce'
    ).fillna(1).astype(int)

    # 3. 空值 containment
    df['Lifecycle'] = df['Lifecycle'].replace(r'^\s*$', np.nan, regex=True).fillna('Active')

    return df

3. 图谱挑战（打破扁平表）

物料清单（BOM）在数学上原生作为分层树结构运行，而不是扁平维度堆栈。

为了系统地将数据干净地填充到高度受限的 bom_lines 数组中，避免之前明确编码的数据库唯一 CHECK 完整性检查器，Python 自动化将初始二维 DataFrame 顺序分离为两个独立的逻辑分组向量。

应用这种明确的数据分段严格确保整个树图正确：

循环 1： 明确地将最终父产品（End_Product_SKU）完全绑定到特定内部子装配容器（Assembly_PN）。
循环 2： 结构上将内部子装配（Assembly_PN）严格原生向下绑定到明确的基础元件项目（Component_PN）。

这种绝对的方向性区分操作干净地原生解决集成故障，满足 Supabase 内部强制执行的互斥表约束，算法上正确模拟高度准确的工厂布局树。

4. 黄金法则：摄取幂等性

在标准数据模块成功达到企业标准操作之前，它严格需要满足系统幂等性。这直接建立：任何本地运维工程师都可以使用相同的硬件阵列数据强制执行抽取模块递归无限次数，完全严格避免破坏结构记录或意外生成无约束的图层级重复。

利用原始 INSERT API 调用原生通过重复图边腐败数据库完整性。相反，实现强制部署 upsert() 函数，通过 Supabase SDK 后端架构无缝集成，利用严格声明的 Postgres UNIQUE 键系统性地跨特定域坚定建立（sku 直接跨越全局产品范围，internal_pn 绑定隔离的组件 ID，mpn 原生锁定外贸零件）。

执行自动化遥测推送立即干净地验证冗余阵列向量，在循环迭代中无缝报告实时结构合规性：

--- Ingestando Products (Idempotente) ---
Upserted 3 products.
--- Ingestando Internal Parts (Idempotente) ---
Upserted 18 internal parts (assemblies & components).
--- Ingestando Manufacturer Parts Telemetry (Idempotente) ---
Upserted 16 manufacturer external parts.
--- Ingestando AML (Mapeo Interno -> Externo) ---
No new AML links to insert (Idempotent success).
--- Ingestando BOM Lines (Grafo Bidirecional Segregado) ---
Mapeando relaciones: Producto Final -> Subensamblaje...
Mapeando relaciones: Subensamblaje -> Componente...
El Grafo BOM está completamente sincronizado (Idempotent success).

[OK] Migración a entorno relacional completada al 100%.

The Sandbox: Execute it Yourself

在运维工程中，代码比理论更有价值。我为你准备了一个交互式且安全的环境（零摩擦）来测试这个 ETL 管道。

你不需要安装任何东西或配置数据库。脚本将在你浏览器的内存中启动 SQL 引擎，摄取损坏的 CSV 文件，使用 Pandas 清洗它，并在毫秒内构建关系树，实时演示幂等性。

🔗 Access the Interactive Google Colab Here

5. 收尾 & CTA（迈向 AI 大脑）

系统结构数据逻辑完全建立纯稳定性。我们严格地将基本损坏、停滞的标准表格 Excel 文件完全跨显式编程循环直接原生注入精炼节点值，填充远优越的 PostgreSQL 关系数据库。

核心基础完全结构化和安全。我们拥有一个原生稳定的 IEC 62402 合规关系架构，直接与稳健的 Python 处理 ETL 节点安全融合运营。进入即将到来的操作模块（Block 3），我们坚定唤醒复杂系统智能，直接处理硬件树上的逻辑。我们部署严格可扩展的 Agentic AI 参数（LangChain / CrewAI），全面活跃连接在统一数据库内，持续自主识别内部财务压力，动态处理外部全局 EOL 硅警报。持续订阅见证 Agentic Radar 发射序列。