RNN通过隐藏状态记忆历史信息，适合序列任务；全连接网络忽略时序关系，而RNN链式结构建模“前因后果”；长序列需LSTM/GRU缓解梯度问题；PyTorch实现含标准化、滑动窗口、LSTM+线性层、MSELoss及梯度截断；文本处理需分词、嵌入、池化或取末态；调试需监控loss、梯度裁剪、调学习率与滚动预测。
循环神经网络（RNN）是处理序列数据的核心模型，特别适合时间序列预测和自然语言理解任务。它通过内部状态“记忆”历史信息，让当前输出依赖于此前的输入——这正是处理股票价格、传感器读数、句子或对话流的关键能力。
为什么RNN比普通神经网络更适合序列任务
全连接网络把每个输入看作独立样本，丢失了时序先后关系；而RNN在每一步接收新输入的同时，也接收上一时刻的隐藏状态，形成链式结构。这种设计天然适配“前因后果”的逻辑，比如：“今天温度高”会影响“明天是否开空调”，而不是孤立判断每一天。
常见误区：直接用RNN处理长序列容易梯度消失或爆炸。实际中多采用其改进结构，如LSTM或GRU，它们通过门控机制选择性保留或遗忘信息，显著提升长期依赖建模能力。
用PyTorch实现一个LSTM做单变量时间序列预测
以预测某城市未来7天最高气温为例，输入是过去30天的日均温序列，目标是输出接下来7天的值：
立即学习“Python免费学习笔记（深入）”；
- 先用sklearn.preprocessing.StandardScaler对数据做标准化，避免数值尺度差异影响训练
- 构造滑动窗口数据集：每30个连续点为一条样本，对应第31–37个点作为标签
- 定义PyTorch模型：一层LSTM + 一层线性层，注意batch_first=True便于按批次组织数据
- 损失函数选nn.MSELoss，优化器常用torch.optim.Adam
- 训练时记得调用hidden = tuple(h.detach() for h in hidden)切断历史梯度，防止显存溢出
用RNN处理文本：从分词到情感分类
文本本质也是序列——字符或词的排列。关键步骤包括：
- 用torchtext或transformers加载预处理后的语料，或手动构建词汇表（word2idx）并做padding补零
- 嵌入层（nn.Embedding）将整数索引转为稠密向量，维度通常设为100–300
- LSTM输出所有时间步的隐藏状态，取最后一个（output[:, -1, :]）或做全局平均池化，送入分类头
- 对于短文本（如微博、评论），双向LSTM（bidirectional=True）往往比单向效果更好，因为它同时看到上下文
调试与优化RNN模型的实用技巧
RNN训练不稳定是常见问题，以下做法能快速定位瓶颈：
- 监控训练loss和验证loss曲线：若验证loss持续上升，说明过拟合，可加Dropout（推荐放在LSTM后、全连接前）或早停（early stopping）
- 检查梯度范数：torch.nn.utils.clip_grad_norm_设阈值（如1.0）防止爆炸
- 初始学习率不宜过大，建议从0.001起步；使用学习率调度器（如ReduceLROnPlateau）在验证指标停滞时自动衰减
- 对时间序列任务，测试时别忘了用滚动预测（recursive prediction）：用模型输出作为下一步输入，模拟真实部署场景
