Go语言：高效处理HTTP文件下载的实用指南

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "os"
)

// downloadSmallFile 下载小文件，将其内容一次性读入内存再写入文件
func downloadSmallFile(url, filename string) error {
    // 1. 发起HTTP GET请求
    resp, err := http.Get(url)
    if err != nil {
        return fmt.Errorf("请求URL失败: %w", err)
    }
    defer resp.Body.Close() // 确保响应体关闭

    if resp.StatusCode != http.StatusOK {
        return fmt.Errorf("HTTP请求失败，状态码: %d %s", resp.StatusCode, resp.Status)
    }

    // 2. 将响应体全部读取到内存
    bodyBytes, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        return fmt.Errorf("读取响应体失败: %w", err)
    }

    // 3. 将字节切片写入文件
    // 0666是文件权限，表示所有用户可读写
    err = ioutil.WriteFile(filename, bodyBytes, 0666)
    if err != nil {
        return fmt.Errorf("写入文件失败: %w", err)
    }

    fmt.Printf("文件 '%s' (大小: %d 字节) 下载成功。\n", filename, len(bodyBytes))
    return nil
}

func main() {
    // 替换为你要下载的实际小文件URL，例如一个图片或小型文本文件
    fileURL := "https://www.google.com/images/branding/googlelogo/1x/googlelogo_color_272x92dp.png"
    fileName := "google_logo.png"

    fmt.Println("--- 尝试下载小文件 ---")
    if err := downloadSmallFile(fileURL, fileName); err != nil {
        fmt.Fprintf(os.Stderr, "下载小文件失败: %v\n", err)
    }
}

package main

import (
    "fmt"
    "io"
    "net/http"
    "os"
)

// downloadLargeFile 下载大文件，采用流式处理方式
func downloadLargeFile(url, filename string) error {
    // 1. 发起HTTP GET请求
    resp, err := http.Get(url)
    if err != nil {
        return fmt.Errorf("请求URL失败: %w", err)
    }
    defer resp.Body.Close() // 确保响应体关闭

    if resp.StatusCode != http.StatusOK {
        return fmt.Errorf("HTTP请求失败，状态码: %d %s", resp.StatusCode, resp.Status)
    }

    // 2. 创建本地文件用于写入
    // os.Create会创建文件，如果文件已存在则截断为0
    outFile, err := os.Create(filename)
    if err != nil {
        return fmt.Errorf("创建文件失败: %w", err)
    }
    defer outFile.Close() // 确保文件关闭

    // 3. 使用io.Copy将响应体直接复制到文件
    // io.Copy会自动处理缓冲，高效地进行数据传输
    bytesWritten, err := io.Copy(outFile, resp.Body)
    if err != nil {
        return fmt.Errorf("复制文件内容失败: %w", err)
    }

    fmt.Printf("文件 '%s' (大小: %d 字节) 下载成功。\n", filename, bytesWritten)
    return nil
}

func main() {
    // 替换为你要下载的实际大文件URL，例如一个大型ISO文件或视频文件
    // 注意：实际测试时请使用可访问的URL
    largeFileURL := "https://speed.hetzner.de/100MB.bin" // 示例：一个100MB的测试文件
    largeFileName := "large_test_file.bin"

    fmt.Println("\n--- 尝试下载大文件 ---")
    if err := downloadLargeFile(largeFileURL, largeFileName); err != nil {
        fmt.Fprintf(os.Stderr, "下载大文件失败: %v\n", err)
    }
}