本文介绍了如何从包含非 JSON 分隔符（如 "end" 字符串）的 JSON 数据流中提取有效的 JSON 数据。我们将探讨一种使用 Go 语言的标准库 encoding/json 和 bytes 来实现此目的的方法，该方法通过读取字节切片，移除分隔符，然后将剩余部分反序列化为 JSON 对象。
在处理来自外部应用程序的 JSON 数据流时，有时会遇到数据流中夹杂着非 JSON 格式的分隔符的情况。例如，每个 JSON 结构体后面跟着一个 "end" 字符串。Go 语言的 encoding/json 包的解码器在这种情况下会报错，因为它无法将 "end" 字符串解析为 JSON。本教程将介绍如何解决这个问题，从这样的数据流中提取有效的 JSON 数据。
解决方案：手动处理数据流
由于标准 JSON 解码器无法直接处理包含非 JSON 分隔符的数据流，我们需要手动处理数据流。具体步骤如下：
- 读取字节切片： 从 stdin 读取数据到一个字节切片中。
- 移除分隔符： 在字节切片中查找分隔符，并将其移除。
- 反序列化 JSON： 将剩余的字节切片反序列化为 JSON 对象。
以下是一个示例代码：
package main
import (
"bytes"
"encoding/json"
"fmt"
"os"
)
type MyStruct struct {
Command string `json:"command"`
ID string `json:"id"`
Msg string `json:"msg,omitempty"` //omitempty 可以在json序列化时忽略空值
}
func main() {
// 创建一个缓冲区来保存流数据
data := make([]byte, 5000)
// 从 stdin 循环读取数据
for {
n, err := os.Stdin.Read(data)
if err != nil {
fmt.Println("Error reading from stdin:", err)
return // 或者 panic(err) 如果你希望程序在发生错误时崩溃
}
// 查找换行符的位置，假设 JSON 数据以换行符结尾
index := bytes.IndexByte(data[:n], '\n') // 只在读取到的数据范围内查找
if index == -1 {
fmt.Println("No newline found in the input")
continue // 继续下一次循环
}
// 提取 JSON 数据部分
jsonData := data[:index]
// 反序列化 JSON 数据
var myStruct MyStruct
err = json.Unmarshal(jsonData, &myStruct)
if err != nil {
fmt.Println("Error unmarshaling JSON:", err)
continue // 继续下一次循环
}
// 处理 myStruct
fmt.Printf("Received: %+v\n", myStruct)
// 跳过 "end" 行
// 假设 "end" 行紧随 JSON 数据之后，并且以换行符结尾
endLine := make([]byte, 4) // "end\n" 的长度
_, err = os.Stdin.Read(endLine)
if err != nil {
fmt.Println("Error reading 'end' line:", err)
return // 或者 panic(err)
}
if string(endLine) != "end\n" && string(endLine) != "end\r" {
fmt.Println("Expected 'end' line, but got:", string(endLine))
// 如果不是 "end\n"，可能需要采取其他错误处理措施
// 例如，将 endLine 的内容放回 stdin 中，以便下次读取
}
}
}代码解释：
- MyStruct 定义了 JSON 数据的结构体。json:"command" 等标签用于指定 JSON 字段与结构体字段之间的映射关系。
- os.Stdin.Read(data) 从标准输入读取数据到 data 字节切片中。
- bytes.Index(data, []byte("\n")) 查找换行符的位置，用于分割 JSON 数据和分隔符。
- json.Unmarshal(data, &myStruct) 将 JSON 数据反序列化到 myStruct 结构体中。
- 错误处理：代码包含了错误处理逻辑，可以更健壮地处理输入流中的问题。例如，检查是否成功读取到 "end" 行，以及是否确实读取到了 "end\n"。
- 跳过"end"行：在处理完JSON数据后，代码会尝试读取并验证"end"行，确保输入流的格式符合预期。
注意事项：
- 此代码假设 JSON 数据以换行符结尾，"end" 字符串也以换行符结尾。你需要根据实际情况调整代码。
- data := make([]byte, 5000) 创建了一个固定大小的缓冲区。如果 JSON 数据超过 5000 字节，则会导致数据丢失。建议使用动态缓冲区，或者根据实际情况调整缓冲区大小。
- 错误处理：代码包含了基本的错误处理，但你可能需要根据实际情况添加更完善的错误处理机制。
总结
本教程介绍了一种从包含非 JSON 分隔符的数据流中提取有效 JSON 数据的方法。通过手动处理数据流，我们可以绕过标准 JSON 解码器的限制，从而成功解析 JSON 数据。这种方法虽然需要更多的代码，但它提供了更大的灵活性，可以处理各种复杂的数据流格式。在实际应用中，请务必根据具体情况调整代码，并添加完善的错误处理机制。
