Go语言中按符文（Rune）遍历字符串的正确姿势

go语言中的字符串是utf-8编码的字节序列，直接通过索引访问会得到字节而非unicode符文。要正确地按符文（即unicode代码点）遍历字符串，应使用`for...range`循环。该循环会自动解析utf-8编码，每次迭代提供符文的起始字节位置和对应的`rune`类型值，从而确保对多字节字符的正确处理。

在Go语言中，字符串本质上是只读的字节切片（[]byte）。这意味着当我们尝试通过传统的索引方式，例如str[i]，来访问字符串的元素时，我们获取到的是一个byte类型的值（uint8），而不是一个Unicode符文（rune）。对于只包含ASCII字符的字符串，这可能不会立即引发问题，因为每个ASCII字符都只占用一个字节。然而，当字符串包含多字节的UTF-8编码字符（如中文、日文等）时，直接的字节索引将无法正确识别单个字符，可能导致乱码或逻辑错误。

理解Go语言字符串与符文

• 字符串（string）: Go语言的字符串是不可变的字节序列，通常以UTF-8编码存储。len(str)返回的是字符串的字节长度，而非字符（符文）数量。
• 符文（rune）: rune是Go语言中int32的别名，用于表示一个Unicode代码点。一个符文可能由一个或多个字节组成。

错误的遍历方式

尝试通过字节索引来遍历字符串并期望得到符文是一种常见的误解：

package main

import "fmt"

func main() {
    str := "你好world"
    // 这种方式是错误的，str[i]返回的是byte
    for i := 0; i < len(str); i++ {
        // fmt.Printf("byte at index %d: %c\n", i, str[i]) // str[i]是byte，直接打印%c可能不正确
        fmt.Printf("byte at index %d: %X\n", i, str[i]) // 打印字节的十六进制值
    }
}

运行上述代码，你会发现对于“你好”这样的多字节字符，它会打印出多个字节，而不是单个字符。例如，“你”在UTF-8中由三个字节组成。

正确的符文遍历方式：使用 for...range 循环

Go语言提供了一种专门用于处理Unicode字符串的简洁而强大的机制，即在字符串上使用for...range循环。当for...range循环用于字符串时，它会智能地解析UTF-8编码，每次迭代返回两个值：

立即学习“go语言免费学习笔记（深入）”；

云雀语言模型

云雀是一款由字节跳动研发的语言模型，通过便捷的自然语言交互，能够高效的完成互动对话

54

查看详情

1. pos: 当前符文在原始字符串中的起始字节位置。
2. char: 当前的Unicode符文，类型为rune。

以下是正确遍历字符串并处理符文的示例：

package main

import "fmt"

func main() {
    s := "日本語" // 包含多字节UTF-8字符的字符串

    fmt.Println("使用 for...range 遍历字符串：")
    for pos, char := range s {
        fmt.Printf("字符 '%c' (rune: %U) 始于字节位置 %d\n", char, char, pos)
    }

    fmt.Println("\n使用 for...range 遍历包含英文和数字的字符串：")
    s2 := "Hello, Go! 123"
    for pos, char := range s2 {
        fmt.Printf("字符 '%c' (rune: %U) 始于字节位置 %d\n", char, char, pos)
    }
}

运行上述代码，你将得到如下输出：

使用 for...range 遍历字符串：
字符 '日' (rune: U+65E5) 始于字节位置 0
字符 '本' (rune: U+672C) 始于字节位置 3
字符 '語' (rune: U+8A9E) 始于字节位置 6

使用 for...range 遍历包含英文和数字的字符串：
字符 'H' (rune: U+48) 始于字节位置 0
字符 'e' (rune: U+65) 始于字节位置 1
字符 'l' (rune: U+6C) 始于字节位置 2
字符 'l' (rune: U+6C) 始于字节位置 3
字符 'o' (rune: U+6F) 始于字节位置 4
字符 ',' (rune: U+2C) 始于字节位置 5
字符 ' ' (rune: U+20) 始于字节位置 6
字符 'G' (rune: U+47) 始于字节位置 7
字符 'o' (rune: U+6F) 始于字节位置 8
字符 '!' (rune: U+21) 始于字节位置 9
字符 ' ' (rune: U+20) 始于字节位置 10
字符 '1' (rune: U+31) 始于字节位置 11
字符 '2' (rune: U+32) 始于字节位置 12
字符 '3' (rune: U+33) 始于字节位置 13

从输出可以看出，对于“日本語”这样的字符串，range循环正确地识别了每个字符，并给出了它们在字节序列中的起始位置。例如，“日”是第一个字符，从字节位置0开始；“本”是第二个字符，但它从字节位置3开始，这表明“日”占据了3个字节。对于单字节的ASCII字符，pos会按1递增。

注意事项

• 符文计数: len(str)返回的是字节数，而不是符文数。要获取字符串中的符文数量，可以使用unicode/utf8包中的utf8.RuneCountInString(str)函数。
• 字符串修改: Go语言的字符串是不可变的。如果需要修改字符串内容，通常需要将其转换为[]rune或[]byte，进行修改后再转换回string。
• 手动解码: 在极少数需要更底层控制的场景下，可以使用unicode/utf8包中的utf8.DecodeRuneInString或utf8.DecodeRune函数手动解码UTF-8字节序列。但对于简单的符文遍历，for...range是首选且最安全的方式。

总结

在Go语言中，处理包含Unicode字符的字符串时，始终建议使用for...range循环来按符文进行迭代。这种方式不仅代码简洁，而且能够正确处理UTF-8编码的多字节字符，避免了直接字节索引可能导致的错误和复杂性。理解字符串是字节序列，而rune是Unicode代码点的概念，是编写健壮Go程序的基础。

以上就是Go语言中按符文（Rune）遍历字符串的正确姿势的详细内容，更多请关注php中文网其它相关文章！