首先使用os.Open和bufio.Scanner逐行读取文件，统计行数、字符数和单词数；再通过map实现词频统计，对英文转小写并分割，中文则借助gojieba分词，最终高效完成各类文本分析需求。
在 Golang 中实现文件内容统计是一个常见需求，比如统计行数、单词数、字符数或特定词频。Go 语言标准库提供了 os、bufio 和 strings 等包，可以高效完成文本读取与处理。下面通过一个完整示例展示如何实现常见的文件内容统计功能。
读取文件并统计基础信息
使用 os.Open 打开文件，配合 bufio.Scanner 逐行读取，适合大文件处理，避免内存溢出。
以下代码统计文件的总行数、字符数和单词数：
package main
import (
"bufio"
"fmt"
"os"
"strings"
)
func countFile(filename string) (lines, words, chars int, err error) {
file, err := os.Open(filename)
if err != nil {
return
}
defer file.Close()
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := scanner.Text()
lines++
chars += len(line)
words += len(strings.Fields(line))
}
if err = scanner.Err(); err != nil {
return
}
return
}
func main() {
lines, words, chars, err := countFile("example.txt")
if err != nil {
fmt.Printf("读取文件失败: %v\n", err)
return
}
fmt.Printf("行数: %d\n", lines)
fmt.Printf("单词数: %d\n", words)
fmt.Printf("字符数: %d\n", chars)
}
统计词频（Word Frequency）
若需分析文本中每个词的出现频率，可使用 map 结构进行计数。先将每行文本转为小写并分割成单词，再累加到 map 中。
立即学习“go语言免费学习笔记（深入）”；
示例如下：
func wordFrequency(filename string) (map[string]int, error) {
freq := make(map[string]int)
file, err := os.Open(filename)
if err != nil {
return nil, err
}
defer file.Close()
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := strings.ToLower(scanner.Text())
words := strings.Fields(line)
for _, word := range words {
freq[word]++
}
}
return freq, scanner.Err()
}
调用后可遍历返回的 map 输出高频词汇：
freq, _ := wordFrequency("example.txt")
for word, count := range freq {
fmt.Printf("%s: %d\n", word, count)
}
处理中文或复杂分词场景
上述方法基于空格切分，适用于英文。若处理中文或需要更精确分词，建议引入第三方库如 gojieba 进行中文分词后再统计。
安装 gojieba：
go get github.com/yanyiwu/gojieba
简单集成示例：
import "github.com/yanyiwu/gojieba"
func chineseWordCount(filename string) map[string]int {
x := gojieba.NewJieba()
defer x.Free()
freq := make(map[string]int)
file, _ := os.Open(filename)
defer file.Close()
scanner := bufio.NewScanner(file)
for scanner.Scan() {
words := x.CutForSearch(scanner.Text())
for _, word := range words {
word = strings.TrimSpace(word)
if word != "" {
freq[word]++
}
}
}
return freq
}
基本上就这些。Golang 的文本处理简洁高效，结合标准库和适当工具，能轻松实现各类统计需求。关键是根据文件大小选择流式读取，避免一次性加载到内存。对于多语言支持，可扩展分词逻辑。不复杂但容易忽略细节，比如错误处理和字符编码兼容性。
