处理Go JSON流中的非JSON内容：一种实用教程-Golang-PHP中文网

处理Go JSON流中的非JSON内容：一种实用教程

心靈之曲

发布： 2025-10-18 11:54:01

原创

1017人浏览过

处理go json流中的非json内容：一种实用教程

本文针对Go语言处理JSON流时遇到的非JSON内容干扰问题，提供了一种有效的解决方案。通过读取字节切片、裁剪非JSON字符串，并使用JSON Unmarshaller进行解析，实现了在混合数据流中提取和处理JSON数据的能力。本教程将详细介绍该方法的实现步骤和代码示例，帮助开发者解决类似问题。

在处理来自标准输入或其他数据源的JSON流时，有时会遇到JSON数据与非JSON数据混合的情况。例如，JSON对象之间穿插着分隔符或其他控制信息，这会导致Go语言内置的encoding/json包在解码时产生错误。本教程将介绍一种绕过这些非JSON内容，成功解析JSON数据的实用方法。

解决方案：手动解析JSON流

核心思路是放弃使用json.Decoder，转而采用更底层的操作方式：

读取字节切片： 从输入流中读取一定大小的字节数据。
裁剪非JSON字符串： 在读取到的字节切片中，找到非JSON字符串（例如，示例中的"end"）的位置，并将切片裁剪到JSON数据的末尾。
JSON Unmarshaller解析： 使用json.Unmarshal函数将裁剪后的字节切片解析为Go结构体。

以下是具体的代码实现：

Find JSON Path Online

Easily find JSON paths within JSON objects using our intuitive Json Path Finder

查看详情

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "os"
)

// MyStruct 替换成你实际的JSON结构体
type MyStruct struct {
    Command string `json:"command"`
    ID      string `json:"id"`
    Msg     string `json:"msg,omitempty"` //omitempty表示如果该字段为空，则不包含在JSON中
}

func main() {
    // 创建一个缓冲区来保存流数据
    data := make([]byte, 5000)
    var err error

    // 从标准输入循环读取数据
    for {
        _, err = os.Stdin.Read(data)
        if err != nil {
            fmt.Println("Error reading from stdin:", err)
            return // 或者根据你的需求进行错误处理，例如 break
        }

        // 找到换行符的位置，假设JSON数据以换行符结尾，"end"也在换行符后
        index := bytes.Index(data, []byte("\n"))
        if index == -1 {
            fmt.Println("No newline found in data")
            continue // 或者根据你的需求进行错误处理
        }

        // 裁剪数据到换行符之前，提取JSON数据
        jsonData := data[:index]

        // 创建一个MyStruct实例
        var myStruct MyStruct

        // 将JSON数据解析到MyStruct实例中
        err = json.Unmarshal(jsonData, &myStruct)
        if err != nil {
            fmt.Println("Error unmarshaling JSON:", err)
            continue // 或者根据你的需求进行错误处理
        }

        // 使用myStruct进行后续操作
        fmt.Printf("Received: %+v\n", myStruct)

        // 清空data，准备读取下一段数据
        data = make([]byte, 5000)
    }
}

登录后复制

代码解释：

MyStruct：这是一个示例结构体，你需要根据你的实际JSON数据结构进行定义。json:"command"这样的tag用于指定JSON字段与结构体字段的映射关系。
os.Stdin.Read(data)：从标准输入读取数据到data字节切片中。
bytes.Index(data, []byte("\n"))：查找data中换行符的位置。这里假设每条JSON数据后面都有一个换行符，end字符串也在换行符后面，这样就可以通过换行符来分割JSON数据。
data[:index]：裁剪data，只保留JSON数据部分。
json.Unmarshal(jsonData, &myStruct)：将JSON数据解析到myStruct结构体中。
fmt.Printf("Received: %+v\n", myStruct)：打印接收到的数据，你可以在这里进行后续处理。
data = make([]byte, 5000)：清空data，避免旧数据干扰下一次读取。

注意事项：

缓冲区大小： data := make([]byte, 5000)中的5000是缓冲区大小，需要根据实际情况调整。如果JSON数据超过缓冲区大小，会导致读取不完整。
错误处理： 代码中包含了基本的错误处理，例如读取错误和JSON解析错误。在实际应用中，需要根据具体需求进行更完善的错误处理。
分隔符： 代码假设JSON数据以换行符分隔。如果分隔符不同，需要修改bytes.Index中的参数。
性能： 这种方法比使用json.Decoder效率稍低，因为它需要手动进行字节切片操作。如果性能要求较高，可以考虑使用更高级的流式解析器。