解析固定宽度数据文件（.out）并转换为CSV或SQL格式的教程-php教程-PHP中文网

解析固定宽度数据文件（.out）并转换为CSV或SQL格式的教程

碧海醫心

发布： 2025-11-26 13:45:15

原创

972人浏览过

解析固定宽度数据文件（.out）并转换为CSV或SQL格式的教程

本教程详细介绍了如何处理无分隔符的固定宽度`.out`数据文件，并将其高效转换为`.txt`、csv或sql文件。文章核心展示了如何利用php的`unpack()`函数解析固定长度字段，以及如何通过`fputcsv()`将其导出为带分隔符的csv格式。教程强调了准确定义字段结构的重要性，并探讨了空值处理及进一步转换为sql的思路。

理解固定宽度数据文件

固定宽度数据文件（通常以.out为扩展名，但并非强制）是一种特殊的数据存储格式，其特点是记录中的每个字段都占据预定义的固定字符长度，而不是通过特定的分隔符（如逗号、制表符或竖线）来区分。这意味着，即使字段内容较短，也会用空格或其他填充字符补齐到指定长度。这种格式在遗留系统和某些数据交换场景中仍然常见，但由于缺乏显式分隔符，解析起来相对复杂。

例如，以下是两个固定宽度数据记录的示例：

I299207075410 07  OCCLUSAL-HP                        LIQ17%                          LMedicis              B000001000000000001EA 8428010080529100   1072363   20030101000000016750000000016750000000000167500200101010000000000000000000000000000000001218000000000000000000000000000000000000000000000000020021231262436018510(W/BRUSH APPLICATOR)     TPLIQ     
 299207085060R01  LUZU                               CRE1%                           SBausch               C000006000000000001EA 8404080054930829 1 1309011   20180105000000590530000000098421700000000902967000000000000000000000000000000000000000000000000000000000000000000000000000000                                     TPCRE

登录后复制

在这些记录中，每个字段的起始位置和长度都是固定的。即使是空白字符，也可能构成某个字段的一部分，或者表示该字段的空值（NULL）。例如，第一个字符可能是一个长度为1的字段，在第二条记录中显示为空格，这可能表示一个NULL值。

使用PHP解析固定宽度数据

PHP提供了一个强大的函数unpack()，它能够根据预定义的格式字符串从二进制字符串（或这里是文本行）中提取数据。这非常适合处理固定宽度数据。

1. 定义字段结构

解析固定宽度数据的首要任务是准确定义每个字段的名称及其对应的长度。这是整个过程中最关键的一步，需要根据实际数据文件的布局进行精确配置。

我们将使用一个关联数组来存储这些定义，其中键是字段名，值是字段的长度：

<?php

// 假设你的数据文件名为 data.out
$raw = file('data.out', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);

// !!! 重点：你需要根据实际数据文件的结构，精确定义每个字段的名称和长度。
// 以下是一个示例定义，你需要根据你的.out文件实际情况进行修改。
$fields = [
    'field1_id'         => 1,   // 例如，第一个字段长度为1
    'field2_identifier' => 12,  // 第二个字段长度为12
    'field3_code'       => 5,   // 第三个字段长度为5
    'field4_category'   => 35,  // ...以此类推
    'field5_value'      => 32,
    'field6_description'=> 22,
    'field7_product_id' => 22,
    'field8_serial_num' => 17,
    'field9_status'     => 2,
    'field10_quantity'  => 10,
    'field11_long_data' => 186,
    'field12_type'      => 10
];

// 根据字段定义生成 unpack 格式字符串
$unpack_format_array = [];
foreach ($fields as $name => $length) {
    // 'A' 格式符表示一个NUL填充的字符串，长度为 $length
    // unpack 会从输入字符串中精确提取 $length 个字符
    $unpack_format_array[] = 'A'.$length.$name;
}
$unpack_string = implode('/', $unpack_format_array);

// 存储解析后的数据
$data = [];
foreach ($raw as $line) {
    // 使用 unpack 函数解析每一行数据
    $parsed_row = unpack($unpack_string, $line);
    $data[] = $parsed_row;
}

// 打印解析后的数据结构，用于调试
// var_dump($data);

?>

登录后复制

代码解释：

爱派AiPy

融合LLM与Python生态的开源AI智能体

查看详情

file('data.out', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES)：读取整个.out文件，将每一行作为数组的一个元素。FILE_IGNORE_NEW_LINES选项会移除每行末尾的换行符，FILE_SKIP_EMPTY_LINES会跳过空行。
$fields：这是核心配置数组。你需要根据你的.out文件格式，精确地定义每个字段的名称（键）和它所占据的字符长度（值）。例如，如果你的第一个字段是ID，长度为10，那么就写 'id' => 10。
'A'.$length.$name：unpack()函数使用格式字符串来指导解析。A是一个格式字符，表示提取一个NUL填充的字符串。$length指定了要提取的字符数量，$name则是提取后在结果数组中对应的键名。implode('/', ...)将所有字段的格式字符串连接起来，形成一个完整的unpack格式字符串。
unpack($unpack_string, $line)：对文件中的每一行应用生成的格式字符串，将其解析成一个关联数组，其中键是你在$fields中定义的字段名，值是提取到的字符串。

将解析数据导出为CSV文件

一旦数据被成功解析为PHP数组，将其导出为CSV（或其他带分隔符的文本文件）就变得非常简单。PHP的fputcsv()函数专门用于将数组写入文件作为CSV行。

<?php
// ... (接上文的解析代码) ...

// 定义导出文件名和分隔符
$export_filename = "data.csv";
$delimiter = "|"; // 可以是逗号(,),分号(;),竖线(|)等

// 打开文件用于写入
$export_file = fopen($export_filename, "w");

// 写入CSV头部（可选，但推荐）
// 提取字段名作为CSV的列头
fputcsv($export_file, array_keys($fields), $delimiter);

// 遍历解析后的数据，并写入CSV文件
foreach ($data as $row) {
    fputcsv($export_file, $row, $delimiter);
}

// 关闭文件句柄
fclose($export_file);

echo "数据已成功导出到 {$export_filename}\n";

?>

登录后复制

代码解释：

fopen($export_filename, "w")：以写入模式打开一个新文件（如果文件不存在则创建，如果存在则清空）。
fputcsv($export_file, array_keys($fields), $delimiter)：首先写入CSV文件的标题行。array_keys($fields)会从$fields数组中提取所有字段名，作为CSV的列头。
fputcsv($export_file, $row, $delimiter)：在循环中，对于每个解析后的数据行（$row），fputcsv()将其转换为一个以指定$delimiter分隔的字符串，并写入到$export_file中。
fclose($export_file)：完成写入后，关闭文件句柄，释放资源。

将数据导入到SQL数据库

将解析后的数据导入SQL数据库有两种主要方法：

通过生成的CSV文件导入： 大多数数据库管理系统（如MySQL, PostgreSQL, SQL Server）都提供了从CSV文件导入数据的功能。例如，MySQL可以使用LOAD DATA INFILE语句。这种方法简单高效，尤其适用于大数据量。

-- MySQL 示例
LOAD DATA INFILE '/path/to/your/data.csv'
INTO TABLE your_table_name
FIELDS TERMINATED BY '|' -- 与fputcsv中使用的分隔符一致
ENCLOSED BY '"'          -- 如果字段值包含分隔符，通常会用引号括起来
LINES TERMINATED BY '\n' -- 行结束符
IGNORE 1 LINES;          -- 如果CSV文件包含标题行，则跳过第一行

登录后复制

通过PHP直接生成SQL INSERT语句： 你也可以在PHP脚本中，遍历解析后的数据，为每一行动态生成INSERT语句，并通过数据库连接执行这些语句。这种方法提供了更大的灵活性，例如可以在插入前进行数据验证或转换。

<?php
// ... (接上文的解析代码) ...

// 假设你已经建立了数据库连接 $pdo
// $pdo = new PDO("mysql:host=localhost;dbname=your_db", "user", "password");
// $pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

$table_name = "your_table_name";
$columns = implode(', ', array_keys($fields)); // 字段名列表
$placeholders = implode(', ', array_fill(0, count($fields), '?')); // 占位符列表

$insert_sql = "INSERT INTO {$table_name} ({$columns}) VALUES ({$placeholders})";
$stmt = $pdo->prepare($insert_sql);

foreach ($data as $row) {
    // 将关联数组的值转换为索引数组，以便与 prepare 语句的占位符匹配
    $values = array_values($row);
    $stmt->execute($values);
}

echo "数据已成功导入到SQL数据库。\n";

?>

登录后复制

这种方法需要处理数据库连接、错误处理和SQL注入防护（使用预处理语句）。

关键注意事项

字段定义的准确性： 这是整个转换过程的基础。任何字段长度或顺序的错误都将导致数据解析失败或数据错位。务必仔细核对.out文件的布局规范。
空值（NULL）的处理： 在固定宽度文件中，空白字符通常表示NULL值。unpack()函数会按原样提取这些空格。在后续处理（如导入数据库）时，你可能需要额外的逻辑来将全为空格的字符串转换为实际的NULL值。例如：
```
foreach ($data as &$row) { // 使用引用以便修改原始数组
    foreach ($row as $key => &$value) {
        if (trim($value) === '') { // 如果去除空格后为空
            $value = null; // 将其设为PHP的null
        }
    }
}
unset($value); // 解除引用
```
登录后复制
编码问题： 确保.out文件的字符编码与PHP脚本处理的编码一致。如果文件是UTF-8，PHP脚本也应以UTF-8处理。
文件路径与权限： 确保PHP脚本有权限读取.out文件和写入导出的CSV文件。
大规模数据处理： 对于非常大的.out文件，一次性将整个文件读入内存（file()函数）可能会消耗大量资源。在这种情况下，可以考虑逐行读取文件（fgets()或SplFileObject）以减少内存占用。