
获取微博评论文本不正常:杂乱字符和方向问题
在使用 requests 库爬取微博堕胎评论时,遇到了奇怪的字符串问题。提取到的字符串含有特殊字符“u200e”、“u202e”、“u202c”,在屏幕打印、pandas 数据框显示时正常,但下标访问或遍历时仍出现这些字符,且顺序混乱。
尽管微博网页和响应编码都为 utf-8,但为何会出现这种问题?
原因在于:
解决方案:
使用正则表达式删除方向格式控制符,然后反转中间字符即可。
import re reversedRE = re.compile(r'\u202E(.*?)(?:\u202C|$)', re.DOTALL) s = '\u202Ecba\u202Cdef\u202Eihg\u202C' print(s) s = reversedRE.sub(lambda m: m[1][::-1], s) print(s) # abcdefghi
以上就是微博评论文本乱码:为什么爬取的微博评论全是杂乱字符,如何解决?的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号