实现Go语言中基于多字节字符串分隔符的流式读取

package main

import (
    "bytes"
    "fmt"
    "io" // 导入 io 包以使用 io.Reader 接口
    "log"
)

// 定义一个更通用的 reader 接口，以适应 ReadString 方法
// bufio.Reader 实现了此接口
type reader interface {
    ReadString(delim byte) (line string, err error)
}

// read 函数从 r 中读取数据，直到遇到完整的 delim 字符串
// 返回读取到的数据（不包含 delim），或遇到的错误
func read(r reader, delim []byte) (line []byte, err error) {
    if len(delim) == 0 {
        return nil, fmt.Errorf("delimiter cannot be empty")
    }

    // 循环读取直到找到完整的 delim
    for {
        // 使用 delim 的最后一个字节作为 ReadString 的分隔符
        // 这样可以确保我们至少读取到可能构成完整 delim 的一部分
        s, readErr := r.ReadString(delim[len(delim)-1])
        if readErr != nil {
            // 如果是 EOF 错误，并且已经读取了数据，则可能需要返回部分数据
            // 但在这里，我们假设 delim 必须完整出现
            if readErr == io.EOF && len(line) > 0 {
                // 如果在 EOF 前已经累积了数据，检查是否以 delim 结尾
                if bytes.HasSuffix(line, delim) {
                    return line[:len(line)-len(delim)], nil
                }
            }
            return nil, readErr // 返回任何读取错误
        }

        // 将读取到的字符串追加到累积的字节切片中
        line = append(line, []byte(s)...)

        // 检查当前累积的 line 是否以完整的 delim 作为后缀
        if bytes.HasSuffix(line, delim) {
            // 如果是，则截取掉 delim 部分，并返回剩余的数据
            return line[:len(line)-len(delim)], nil
        }
    }
}

func main() {
    // 示例数据源
    src := bytes.NewBufferString("123deli456elim789delimABCdelimDEF")
    targetDelim := []byte("delim")

    fmt.Printf("Searching for delimiter: %q\n", string(targetDelim))
    fmt.Println("---")

    for {
        // 调用 read 函数获取数据
        b, err := read(src, targetDelim)
        if err != nil {
            // 如果遇到 io.EOF，表示数据源已读完，退出循环
            if err == io.EOF {
                fmt.Println("---")
                fmt.Println("End of data source (EOF)")
                break
            }
            // 处理其他错误
            log.Fatalf("Error reading: %v", err)
        }

        // 打印读取到的数据
        fmt.Printf("%q\n", b)
    }
}

Searching for delimiter: "delim"
---
"123deli456elim789"
"ABC"
---
End of data source (EOF)