首页 > 后端开发 > Golang > 正文

Golang压缩解压文件 zip和tar标准库实践

P粉602998670
发布: 2025-08-28 11:41:01
原创
837人浏览过
Golang中使用archive/zip和archive/tar库实现ZIP与TAR文件的压缩解压,通过CompressZip、DecompressZip、CompressTarGz和DecompressTarGz函数分别完成ZIP和带gzip压缩的TAR文件的读写操作,支持目录遍历、流式处理以降低内存占用,并结合defer确保资源释放;处理大文件时推荐分块读写避免内存溢出,同时通过gzip.Writer设置压缩级别可优化性能与压缩率,结合错误检查与MkdirAll创建目标路径,实现健壮的文件压缩解压功能。

golang压缩解压文件 zip和tar标准库实践

Golang提供了

archive/zip
登录后复制
archive/tar
登录后复制
标准库来处理ZIP和TAR文件的压缩与解压缩。本文将深入探讨这两个库的实践应用,助你轻松搞定文件压缩解压任务。

解决方案

Golang的标准库

archive/zip
登录后复制
archive/tar
登录后复制
分别用于处理ZIP和TAR格式的压缩文件。 使用这两个库,我们可以方便地实现文件的压缩和解压缩功能。

ZIP文件的压缩与解压缩

立即学习go语言免费学习笔记(深入)”;

压缩ZIP文件,需要创建ZIP文件,然后将需要压缩的文件写入该ZIP文件中。解压缩ZIP文件则需要打开ZIP文件,然后读取其中的每一个文件。

package main

import (
    "archive/zip"
    "fmt"
    "io"
    "os"
    "path/filepath"
)

// CompressZip 压缩文件到zip
func CompressZip(srcDir string, destZip string) error {
    outFile, err := os.Create(destZip)
    if err != nil {
        return err
    }
    defer outFile.Close()

    zipWriter := zip.NewWriter(outFile)
    defer zipWriter.Close()

    err = filepath.Walk(srcDir, func(path string, info os.FileInfo, err error) error {
        if err != nil {
            return err
        }

        header, err := zip.FileInfoHeader(info)
        if err != nil {
            return err
        }

        header.Name, err = filepath.Rel(srcDir, path)
        if err != nil {
            return err
        }

        if info.IsDir() {
            header.Name += "/"
        }

        writer, err := zipWriter.CreateHeader(header)
        if err != nil {
            return err
        }

        if info.IsDir() {
            return nil
        }

        file, err := os.Open(path)
        if err != nil {
            return err
        }
        defer file.Close()

        _, err = io.Copy(writer, file)
        return err
    })

    return err
}

// DecompressZip 解压zip文件
func DecompressZip(srcZip string, destDir string) error {
    reader, err := zip.OpenReader(srcZip)
    if err != nil {
        return err
    }
    defer reader.Close()

    for _, file := range reader.File {
        filePath := filepath.Join(destDir, file.Name)

        if file.FileInfo().IsDir() {
            err := os.MkdirAll(filePath, os.ModePerm)
            if err != nil {
                return err
            }
            continue
        }

        err := os.MkdirAll(filepath.Dir(filePath), os.ModePerm)
        if err != nil {
            return err
        }

        fileReader, err := file.Open()
        if err != nil {
            return err
        }
        defer fileReader.Close()

        targetFile, err := os.Create(filePath)
        if err != nil {
            return err
        }
        defer targetFile.Close()

        _, err = io.Copy(targetFile, fileReader)
        if err != nil {
            return err
        }
    }

    return nil
}

func main() {
    srcDir := "test_data" // 替换为你的源目录
    destZip := "test.zip"  // 替换为你的目标zip文件
    destDir := "unzipped"  // 替换为你的解压目标目录

    // 创建测试目录和文件
    os.MkdirAll(srcDir, os.ModePerm)
    os.WriteFile(filepath.Join(srcDir, "file1.txt"), []byte("This is file1."), os.ModePerm)
    os.WriteFile(filepath.Join(srcDir, "file2.txt"), []byte("This is file2."), os.ModePerm)
    os.MkdirAll(filepath.Join(srcDir, "subdir"), os.ModePerm)
    os.WriteFile(filepath.Join(srcDir, "subdir", "file3.txt"), []byte("This is file3."), os.ModePerm)

    err := CompressZip(srcDir, destZip)
    if err != nil {
        fmt.Println("Error compressing:", err)
        return
    }
    fmt.Println("Successfully compressed to", destZip)

    err = os.MkdirAll(destDir, os.ModePerm)
    if err != nil {
        fmt.Println("Error creating destination directory:", err)
        return
    }

    err = DecompressZip(destZip, destDir)
    if err != nil {
        fmt.Println("Error decompressing:", err)
        return
    }
    fmt.Println("Successfully decompressed to", destDir)

    //清理测试文件
    os.RemoveAll(srcDir)
    os.Remove(destZip)
    os.RemoveAll(destDir)
}
登录后复制

TAR文件的压缩与解压缩

TAR文件的压缩与ZIP类似,也是先创建TAR文件,然后将需要压缩的文件写入。解压缩TAR文件也是打开TAR文件,然后逐个读取文件。 需要注意的是,TAR格式通常不包含压缩,所以一般会配合gzip等压缩算法一起使用。

巧文书
巧文书

巧文书是一款AI写标书、AI写方案的产品。通过自研的先进AI大模型,精准解析招标文件,智能生成投标内容。

巧文书 61
查看详情 巧文书
package main

import (
    "archive/tar"
    "compress/gzip"
    "fmt"
    "io"
    "os"
    "path/filepath"
)

// CompressTarGz 压缩文件到tar.gz
func CompressTarGz(srcDir string, destTarGz string) error {
    outFile, err := os.Create(destTarGz)
    if err != nil {
        return err
    }
    defer outFile.Close()

    gzipWriter := gzip.NewWriter(outFile)
    defer gzipWriter.Close()

    tarWriter := tar.NewWriter(gzipWriter)
    defer tarWriter.Close()

    err = filepath.Walk(srcDir, func(path string, info os.FileInfo, err error) error {
        if err != nil {
            return err
        }

        header, err := tar.FileInfoHeader(info, info.Name())
        if err != nil {
            return err
        }

        header.Name, err = filepath.Rel(srcDir, path)
        if err != nil {
            return err
        }

        if info.IsDir() {
            header.Name += "/"
        }

        err = tarWriter.WriteHeader(header)
        if err != nil {
            return err
        }

        if info.IsDir() {
            return nil
        }

        file, err := os.Open(path)
        if err != nil {
            return err
        }
        defer file.Close()

        _, err = io.Copy(tarWriter, file)
        return err
    })

    return err
}

// DecompressTarGz 解压tar.gz文件
func DecompressTarGz(srcTarGz string, destDir string) error {
    file, err := os.Open(srcTarGz)
    if err != nil {
        return err
    }
    defer file.Close()

    gzipReader, err := gzip.NewReader(file)
    if err != nil {
        return err
    }
    defer gzipReader.Close()

    tarReader := tar.NewReader(gzipReader)

    for {
        header, err := tarReader.Next()

        if err == io.EOF {
            break
        }

        if err != nil {
            return err
        }

        filePath := filepath.Join(destDir, header.Name)

        switch header.Typeflag {
        case tar.TypeDir:
            err := os.MkdirAll(filePath, os.ModePerm)
            if err != nil {
                return err
            }
        case tar.TypeReg:
            err := os.MkdirAll(filepath.Dir(filePath), os.ModePerm)
            if err != nil {
                return err
            }

            file, err := os.Create(filePath)
            if err != nil {
                return err
            }
            defer file.Close()

            _, err = io.Copy(file, tarReader)
            if err != nil {
                return err
            }
        default:
            fmt.Printf("Unhandled type: %v\n", header.Typeflag)
        }
    }

    return nil
}

func main() {
    srcDir := "test_data"       // 替换为你的源目录
    destTarGz := "test.tar.gz" // 替换为你的目标tar.gz文件
    destDir := "untarred"       // 替换为你的解压目标目录

    // 创建测试目录和文件
    os.MkdirAll(srcDir, os.ModePerm)
    os.WriteFile(filepath.Join(srcDir, "file1.txt"), []byte("This is file1."), os.ModePerm)
    os.WriteFile(filepath.Join(srcDir, "file2.txt"), []byte("This is file2."), os.ModePerm)
    os.MkdirAll(filepath.Join(srcDir, "subdir"), os.ModePerm)
    os.WriteFile(filepath.Join(srcDir, "subdir", "file3.txt"), []byte("This is file3."), os.ModePerm)

    err := CompressTarGz(srcDir, destTarGz)
    if err != nil {
        fmt.Println("Error compressing:", err)
        return
    }
    fmt.Println("Successfully compressed to", destTarGz)

    err = os.MkdirAll(destDir, os.ModePerm)
    if err != nil {
        fmt.Println("Error creating destination directory:", err)
        return
    }

    err = DecompressTarGz(destTarGz, destDir)
    if err != nil {
        fmt.Println("Error decompressing:", err)
        return
    }
    fmt.Println("Successfully decompressed to", destDir)

    //清理测试文件
    os.RemoveAll(srcDir)
    os.Remove(destTarGz)
    os.RemoveAll(destDir)
}
登录后复制

如何处理大型文件压缩解压?

处理大型文件时,内存消耗是个大问题。为了避免

OutOfMemory
登录后复制
错误,可以采用流式处理的方式。 这意味着不一次性将整个文件加载到内存中,而是分块读取和写入。 对于
zip
登录后复制
tar
登录后复制
库,这体现在使用
io.Copy
登录后复制
进行数据传输,并避免在内存中构建完整的文件列表。

错误处理的最佳实践

错误处理是任何程序的重要组成部分,尤其是在处理文件I/O时。 应该始终检查每个可能出错的操作的返回值,并采取适当的措施。 这可能包括记录错误、返回错误给调用者,或者在某些情况下,尝试恢复。 使用

defer
登录后复制
语句可以确保文件和资源在函数退出时得到正确关闭,即使发生错误。

压缩比率和性能优化

不同的压缩算法提供不同的压缩比率和性能特征。

gzip
登录后复制
的压缩级别可以在创建
gzip.Writer
登录后复制
时指定。 较高的压缩级别会提供更好的压缩比率,但会消耗更多的CPU时间。 在选择压缩级别时,需要权衡压缩比率和性能。 对于
zip
登录后复制
文件,可以使用
zip.Deflate
登录后复制
方法来指定压缩算法。 此外,并行处理可以显著提高压缩和解压缩的速度,特别是对于多核CPU。 可以使用
go
登录后复制
例程和
sync.WaitGroup
登录后复制
来实现并行处理。

以上就是Golang压缩解压文件 zip和tar标准库实践的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号