tokenizers 包安装与 Rust 兼容性问题分析
在使用 pip install tokenizers==0.12.1 命令尝试安装 tokenizers 包时，用户可能会遇到编译错误，尤其是在使用 python 3.6.15 和 rust 1.72.0 或更高版本时。这类错误通常表现为 rust 编译器的警告和错误信息，例如关于可变变量（mutable）的警告和更关键的“将 &t 转换为 &mut t 是未定义行为”的类型转换错误。
warning: variable does not need to be mutable
--> tokenizers-lib\src\models\unigram\model.rs:265:21
|
265 | let mut target_node = &mut best_path_ends_at[key_pos];
| ----^^^^^^^^^^^
| |
| help: remove this `mut`
...
error: casting `&T` to `&mut T` is undefined behavior, even if the reference is unused, consider instead using an `UnsafeCell`
--> tokenizers-lib\src\models\bpe\trainer.rs:526:47
|
522 | let w = &words[*i] as *const _ as *mut _;
| -------------------------------- casting happened here
...
526 | let word: &mut Word = &mut (*w);
| ^^^^^^^^^
|
= note: for more information, visit
= note: `#[deny(invalid_reference_casting)]` on by default
warning: `tokenizers` (lib) generated 3 warnings
error: could not compile `tokenizers` (lib) due to the previous error; 3 warnings emitted 这些错误的核心原因是 Rust 编译器在 1.73.0 版本左右变得更加严格，对某些不安全或潜在未定义行为的类型转换进行了限制。旧版本的 tokenizers 代码中存在此类转换，导致在新版 Rust 编译器下无法通过编译。tokenizers 官方已在 0.14.1 及更高版本中修复了这些兼容性问题。
解决方案一：升级 tokenizers 及其相关依赖
最推荐的解决方案是升级 tokenizers 包到兼容新版 Rust 编译器的版本。然而，这通常会带来依赖链上的变化，特别是对于依赖 tokenizers 的其他库，例如 transformers。
-
升级 tokenizers 版本： 将 tokenizers 升级到 0.14.1 或更高版本，这些版本已经修复了与新版 Rust 编译器的兼容性问题。
pip install tokenizers>=0.14.1
-
同步升级 transformers 版本： 如果你的项目依赖于 transformers 库，并且它要求旧版 tokenizers（例如 transformers==4.19.1 可能要求 tokenizers=4.36 通常与 tokenizers>=0.14.1 兼容。
pip install transformers>=4.36 tokenizers>=0.14.1
-
修改 requirements.txt 文件： 如果你的项目使用 requirements.txt 文件管理依赖，你需要修改文件中对应的行：
- tokenizers==0.12.1 - transformers==4.19.1 + tokenizers>=0.14.1 + transformers>=4.36
然后重新安装依赖：
pip install -r requirements.txt
注意事项：
- 在升级核心依赖库时，务必进行充分的测试，以确保项目的功能不受影响。某些旧项目可能与新版本的库不完全兼容。
- 如果你的项目强制要求使用特定旧版本的 tokenizers，并且无法升级，那么可能需要考虑第二种解决方案。
解决方案二：使用旧版 Rust 工具链（临时性方案）
如果项目对 tokenizers 的版本有严格限制，无法升级，你可以通过强制使用一个较旧的、对代码检查不那么严格的 Rust 编译器版本来绕过这个问题。这可以通过设置 RUSTUP_TOOLCHAIN 环境变量来实现。
确认兼容的 Rust 版本： 根据 tokenizers 官方社区的讨论，Rust 1.72.1 或更早版本可能不会出现此编译错误。你可以尝试使用这些版本。
-
安装特定 Rust 工具链： 如果你还没有安装 rustup，请先安装它。然后使用 rustup 安装一个旧版工具链。例如，安装 1.72.1 版本：
rustup install 1.72.1
-
设置 RUSTUP_TOOLCHAIN 环境变量： 在执行 pip install 命令之前，将 RUSTUP_TOOLCHAIN 环境变量设置为你希望使用的旧版 Rust 工具链。
-
Linux/macOS:
export RUSTUP_TOOLCHAIN=1.72.1 pip install tokenizers==0.12.1 unset RUSTUP_TOOLCHAIN # 安装完成后可以取消设置
-
Windows (Command Prompt):
set RUSTUP_TOOLCHAIN=1.72.1 pip install tokenizers==0.12.1 set RUSTUP_TOOLCHAIN= # 安装完成后可以取消设置
-
Windows (PowerShell):
$env:RUSTUP_TOOLCHAIN="1.72.1" pip install tokenizers==0.12.1 Remove-Item Env:\RUSTUP_TOOLCHAIN # 安装完成后可以取消设置
-
注意事项：
- 这种方法是临时的解决方案，不推荐作为长期策略。因为它依赖于一个过时的 Rust 工具链，可能无法获得最新的性能优化、安全补丁或语言特性。
- 每次需要编译依赖 Rust 的旧版 Python 包时，都可能需要重复设置此环境变量。
- 确保你安装的旧版 Rust 工具链与你的系统兼容。
总结
当遇到 tokenizers 包因 Rust 编译器兼容性问题而安装失败时，首选且最稳健的解决方案是升级 tokenizers 及其相关的 Python 依赖（如 transformers）到最新且兼容的版本。如果项目存在严格的版本限制，无法升级 tokenizers，则可以考虑临时性地通过设置 RUSTUP_TOOLCHAIN 环境变量来使用一个旧版的 Rust 编译器进行编译。无论采用哪种方法，都应在生产环境部署前进行充分的测试，以确保项目的稳定性和功能完整性。
