盘点3种Python网络爬虫过程中的中文乱码的处理方法

点击上方“Python爬虫与数据挖掘”，进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

重帏深下莫愁堂，卧后清宵细细长。

    大家好，我是Python进阶者。前几天给大家分享了一些乱码问题的文章，感兴趣的小伙伴可以前往：UnicodeEncodeError: gbk codec cant encode character解决方法，这里再次给大家祭出网络爬虫过程中三种中文乱码的处理方案，希望对大家的学习有所帮助。

前言

    前几天有个粉丝在Python交流群里问了一道关于使用Python网络爬虫过程中中文乱码的问题，如下图所示。

    看上去确实头大，对于爬虫初学者来说，这个乱码摆在自己面前，犹如拦路虎一般难顶。不过别慌，小编在这里给大家整理了三种方法，专门用于针对中文乱码的，希望大家在后面再次遇到中文乱码的问题，在此处可以得到灵感！

一、思路

    其实解决问题的关键点就是在于一点，就是将乱码的部分进行处理，而处理的方案主要可以从两个方面进行出发。其一是针对整体网页进行提前编码，其二是针对局部具体中文乱码的部分进行编码处理。这里例举3种方法，肯定还有其他的方法的，也欢迎大家在评论区谏言。

二、分析

    其实关于中文乱码的表现形式有很多，但是常见的两种如下：

1、当出现网页编码为gbk，获取到的内容在控制台打印类似如下情况的时候：

ÃÀÅ® µçÄÔ×À ¼üÅÌ »ú·¿ ¿É°® С½ã½ã4k±ÚÖ½

2、当出现网页编码为gbk，获取到的内容在控制台打印类似如下情况的时候：

�װŮ�� ��Ů ˮ СϪ Ψ��

    虽然看上去控制台输出正常，没有报错：

Process finished with exit code 0

    但是输出的中文内容，却不是普通人能看得懂的。

    这种情况下的话，就可以通过使用本文给出的三种方法进行解决，屡试不爽！

三、具体实现

1）方法一：将requests.get().text改为requests.get().content    我们可以看到通过text()方法获取到的源码，之后进行打印输出的话，确实是会存在乱码的，如下图所示。

    此时可以考虑将请求变为.content，得到的内容就是正常的了。

2）方法二：手动指定网页编码# 手动设定响应数据的编码格式response.encoding = response.apparent_encoding

     这个方法稍微复杂一些，但是比较好理解，对于初学者来说，还是比较好接受的。

    如果觉得上面的方法很难记住，或者你可以尝试直接指定gbk编码也可以进行处理，如下图所示：

    上面介绍的两种方法都是针对网页进行整体编码，效果显著，接下来的第三种方法就是针对中文局部乱码部分使用通用编码方法进行处理。

3）方法三：使用通用的编码方法img_name.encode(iso-8859-1).decode(gbk)

使用通用的编码方法，对中文出现乱码的地方进行编码设定即可。还是当前的这个例子，针对img_name进行编码设定，指定编码并进行解码，如下图所示。

    如此一来，中文乱码的问题就迎刃而解了。

四、总结

我是Python进阶者。本文基于粉丝提问，针对Python网络爬虫过程中的中文乱码问题，给出了3种乱码解决方法，顺利帮助粉丝解决了问题。虽然文中例举了3种方法，但是小编相信肯定还有其他的方法的，也欢迎大家在评论区谏言。

    小伙伴们，快快用实践一下吧！如果在学习过程中，有遇到任何问题，欢迎加我好友，我拉你进Python学习交流群共同探讨学习。

------------------- End -------------------

往期精彩文章推荐：

手把手教你采集京东销售数据并做简单的数据分析和可视化

手把手教你用Pyecharts库对淘宝数据进行可视化展示

手把手教你用Pandas库对淘宝原始数据进行数据处理和分词处理

Python项目实战篇——常用验证码标注&识别(前端+后端实现高效率数据标注)

欢迎大家点赞，留言，转发，转载，感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群】

万水千山总是情，点个【在看】行不行

/今日留言主题/

随便说一两句吧~~