Go语言高效下载大型文件：避免内存溢出的流式处理实践

package main

import (
    "fmt"
    "io"
    "net/http"
    "os"
    "time" // 用于设置超时
)

func main() {
    // 替换为你要下载的实际文件URL，例如一个大型公开文件
    fileURL := "https://speed.hetzner.de/100MB.bin" 
    outputFileName := "downloaded_large_file.bin" // 输出文件名

    fmt.Printf("开始下载文件: %s 到 %s\n", fileURL, outputFileName)
    startTime := time.Now()

    err := downloadFile(fileURL, outputFileName)
    if err != nil {
        fmt.Printf("文件下载失败: %v\n", err)
        return
    }

    duration := time.Since(startTime)
    fmt.Printf("文件 '%s' 已成功下载到 '%s'，耗时 %s\n", fileURL, outputFileName, duration)
}

// downloadFile 函数用于将指定URL的文件下载到本地路径
func downloadFile(url string, filepath string) error {
    // 1. 创建输出文件
    out, err := os.Create(filepath)
    if err != nil {
        return fmt.Errorf("无法创建文件 %s: %w", filepath, err)
    }
    // 使用 defer 确保文件在函数退出时关闭，无论成功与否
    defer func() {
        closeErr := out.Close()
        if closeErr != nil {
            fmt.Printf("关闭文件 %s 失败: %v\n", filepath, closeErr)
        }
    }()

    // 2. 发起HTTP GET请求
    // 可以创建一个自定义的HTTP客户端来设置超时等高级选项
    client := http.Client{
        Timeout: 30 * time.Second, // 设置请求超时
    }
    resp, err := client.Get(url)
    if err != nil {
        return fmt.Errorf("HTTP GET请求失败 %s: %w", url, err)
    }
    // 使用 defer 确保响应体在函数退出时关闭，释放网络资源
    defer func() {
        closeErr := resp.Body.Close()
        if closeErr != nil {
            fmt.Printf("关闭响应体失败: %v\n", closeErr)
        }
    }()

    // 检查HTTP状态码，确保请求成功（例如 200 OK）
    if resp.StatusCode != http.StatusOK {
        return fmt.Errorf("下载失败，HTTP状态码: %d %s", resp.StatusCode, resp.Status)
    }

    // 3. 使用io.Copy将响应体直接写入文件
    // resp.Body 是一个 io.Reader，out 是一个 io.Writer
    // io.Copy 会从 resp.Body 读取数据，并将其写入 out
    n, err := io.Copy(out, resp.Body)
    if err != nil {
        return fmt.Errorf("将数据写入文件失败: %w", err)
    }

    fmt.Printf("成功下载 %d 字节\n", n)
    return nil
}