Go 包内部缓冲区管理与优化实践

package mypackage

import "errors"

// ProcessData 将数据处理后写入 dst 缓冲区。
// 如果 dst 容量足够，返回 dst 的子切片；否则，返回新分配的切片。
// 传入 nil dst 是有效的，此时函数会自行分配内存。
func ProcessData(dst []byte, data []byte) (ret []byte, err error) {
    requiredLen := len(data) * 2 // 假设处理后数据长度翻倍

    // 检查 dst 容量是否足够
    if cap(dst) >= requiredLen {
        ret = dst[:requiredLen] // 使用 dst 的一部分
    } else {
        // 容量不足，分配新切片
        ret = make([]byte, requiredLen)
    }

    // 模拟数据处理和写入
    for i := 0; i < len(data); i++ {
        ret[i*2] = data[i]
        ret[i*2+1] = data[i]
    }

    return ret, nil
}

// 客户端使用示例
func main() {
    input := []byte("hello")

    // 示例 1: 客户端提供足够大的缓冲区
    buf := make([]byte, 20) // 20 字节容量
    result, err := ProcessData(buf, input)
    if err != nil {
        panic(err)
    }
    // result 可能是 buf 的一个子切片，或与 buf 共享底层数组
    println(string(result)) // 输出: hheelllloo

    // 示例 2: 客户端提供容量不足的缓冲区
    smallBuf := make([]byte, 5)
    result2, err := ProcessData(smallBuf, input)
    if err != nil {
        panic(err)
    }
    // result2 是一个新分配的切片
    println(string(result2)) // 输出: hheelllloo

    // 示例 3: 客户端不提供缓冲区 (传入 nil)
    result3, err := ProcessData(nil, input)
    if err != nil {
        panic(err)
    }
    // result3 是一个新分配的切片
    println(string(result3)) // 输出: hheelllloo
}

package mypackage

import (
    "bytes"
    "sync"
)

// bufferPool 是一个 []byte 的 sync.Pool，用于重用缓冲区。
// New 字段定义了当池中没有可用缓冲区时如何创建新缓冲区。
var bufferPool = sync.Pool{
    New: func() interface{} {
        // 初始分配一个 1KB 的缓冲区，可以根据实际需求调整
        return make([]byte, 0, 1024)
    },
}

// GetBuffer 从池中获取一个缓冲区。
func GetBuffer() *bytes.Buffer {
    buf := bufferPool.Get().(*bytes.Buffer)
    buf.Reset() // 重置缓冲区，清空内容但保留容量
    return buf
}

// PutBuffer 将缓冲区放回池中。
func PutBuffer(buf *bytes.Buffer) {
    bufferPool.Put(buf)
}

// 模拟一个使用缓冲区池的函数
func ProcessAndFormatData(data string) string {
    buf := GetBuffer() // 从池中获取缓冲区
    defer PutBuffer(buf) // 确保使用完毕后归还缓冲区

    buf.WriteString("Processed: ")
    buf.WriteString(data)
    buf.WriteString(" (formatted)")

    return buf.String()
}

// 客户端使用示例
func main() {
    println(ProcessAndFormatData("Go is great"))
    println(ProcessAndFormatData("Memory management"))
    // 缓冲区在后台被重用，减少了堆分配
}