使用Go语言高效获取PHP网页结构化数据教程

John;My name is John
Doe;My name is Doe

<?php
// connection.php 包含数据库连接逻辑
include("connection.php");

// 设置HTTP头，告知客户端响应内容为纯文本
header('Content-Type: text/plain');

// 执行SQL查询
$sql = mysqli_query($con, "SELECT name, message FROM talk");

// 遍历结果集并输出纯文本数据
while ($info = $sql->fetch_assoc()) {
    // 使用分号分隔字段，每条记录以换行符结束
    echo $info['name'] . ";" . $info['message'] . "\n";
}
?>

package main

import (
    "fmt"
    "io" // 推荐使用io包中的ReadAll，而非ioutil
    "net/http"
    "strings"
)

// Record 结构体用于存储解析后的数据
type Record struct {
    Name    string
    Message string
}

// getAndParseData 从指定URL获取数据并解析
func getAndParseData(url string) ([]Record, error) {
    fmt.Printf("正在从 %s 下载数据...\n", url)

    // 1. 执行HTTP GET请求
    resp, err := http.Get(url)
    if err != nil {
        return nil, fmt.Errorf("HTTP GET请求失败: %w", err)
    }
    defer resp.Body.Close() // 确保在函数结束时关闭响应体，释放资源

    // 2. 检查HTTP状态码，确保请求成功
    if resp.StatusCode != http.StatusOK {
        return nil, fmt.Errorf("请求失败，状态码: %d %s", resp.StatusCode, resp.Status)
    }

    // 3. 读取响应体内容
    bodyBytes, err := io.ReadAll(resp.Body)
    if err != nil {
        return nil, fmt.Errorf("读取响应体失败: %w", err)
    }

    // 将字节切片转换为字符串
    bodyString := string(bodyBytes)

    // 4. 解析字符串数据
    // 首先，移除字符串首尾可能的空白字符（如末尾的换行符），然后按行分割
    lines := strings.Split(strings.TrimSpace(bodyString), "\n")

    var records []Record
    for _, line := range lines {
        if line == "" { // 跳过空行
            continue
        }
        // 按分号分隔字段
        parts := strings.Split(line, ";")
        if len(parts) == 2 { // 假设每行有两部分：Name;Message
            records = append(records, Record{
                Name:    parts[0],
                Message: parts[1],
            })
        } else {
            fmt.Printf("警告：跳过格式不正确的行: '%s'\n", line)
        }
    }

    return records, nil
}

func main() {
    // 请将此URL替换为你的PHP页面实际部署的地址
    phpPageURL := "http://localhost/get_data.php" 

    data, err := getAndParseData(phpPageURL)
    if err != nil {
        fmt.Printf("获取或解析数据失败: %v\n", err)
        return
    }

    if len(data) == 0 {
        fmt.Println("未获取到任何数据。")
        return
    }

    fmt.Println("成功获取并解析数据:")
    for i, record := range data {
        fmt.Printf("记录 %d: 姓名: %s, 消息: %s\n", i+1, record.Name, record.Message)
    }
}