Python3如何解决字符编码问题详解

编码

因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特（bit）作为一个字节（byte），所以，一个字节能表示的最大的整数就是255（二进制11111111=十进制255），如果要表示更大的整数，就必须用更多的字节。比如两个字节可以表示的最大整数是65535，4个字节可以表示的最大整数是4294967295。

由于计算机是美国人发明的，因此，最早只有127个字母被编码到计算机里，也就是大小写英文字母、数字和一些符号，这个编码表被称为ASCII编码，比如大写字母A的编码是65，小写字母z的编码是122。

Python3字符编码

Python3 最重要的一项改进之一就是解决了 Python2 中字符串与字符编码遗留下来的这个大坑。

Python2 字符串设计上的一些缺陷：

• 使用 ASCII 码作为默认编码方式，对中文处理很不友好。
• 把字符串的牵强地分为 unicode 和 str 两种类型，误导开发者
  

当然这并不算 Bug，只要处理的时候多留心也可以避免这些坑。但在 Python3 两个问题都很好的解决了。

首先，Python3 把系统默认编码设置为 UTF-8

>>> import sys
>>> sys.getdefaultencoding()
'utf-8'
>>>

然后，文本字符和二进制数据区分得更清晰，分别用 str 和 bytes 表示。文本字符全部用 str 类型表示，str 能表示 Unicode 字符集中所有字符，而二进制字节数据用一种全新的数据类型，用 bytes 来表示。

str

>>> a = "a"
>>> a
'a'
>>> type(a)
<class 'str'>

>>> b = "禅"
>>> b
'禅'
>>> type(b)
<class 'str'>

bytes

Python3 中，在字符引号前加‘b'，明确表示这是一个 bytes 类型的对象，实际上它就是一组二进制字节序列组成的数据，bytes 类型可以是 ASCII范围内的字符和其它十六进制形式的字符数据，但不能用中文等非ASCII字符表示。

>>> c = b'a'
>>> c
b'a'
>>> type(c)
<class 'bytes'>

>>> d = b'\xe7\xa6\x85'
>>> d
b'\xe7\xa6\x85'
>>> type(d)
<class 'bytes'>
>>>

>>> e = b'禅'
 File "<stdin>", line 1
SyntaxError: bytes can only contain ASCII literal characters.

bytes 类型提供的操作和 str 一样，支持分片、索引、基本数值运算等操作。但是 str 与 bytes 类型的数据不能执行 + 操作，尽管在py2中是可行的。

>>> b"a"+b"c"
b'ac'
>>> b"a"*2
b'aa'
>>> b"abcdef\xd6"[1:]
b'bcdef\xd6'
>>> b"abcdef\xd6"[-1]
214

>>> b"a" + "b"
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
TypeError: can't concat bytes to str

python2 与 python3 字节与字符的对应关系

encode 与 decode

str 与 bytes 之间的转换可以用 encode 和从decode 方法。

encode 负责字符到字节的编码转换。默认使用 UTF-8 编码准换。

>>> s = "Python之禅"
>>> s.encode()
b'Python\xe4\xb9\x8b\xe7\xa6\x85'
>>> s.encode("gbk")
b'Python\xd6\xae\xec\xf8'

decode 负责字节到字符的解码转换，通用使用 UTF-8 编码格式进行转换。

>>> b'Python\xe4\xb9\x8b\xe7\xa6\x85'.decode()
'Python之禅'
>>> b'Python\xd6\xae\xec\xf8'.decode("gbk")
'Python之禅'

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流。

# python3  # 字符编码  # 编码问题  # 字符串编码  # 跟老齐学Python之坑爹的字符编码  # Python获取系统默认字符编码的方法  # Python字符编码转码之GBK  # UTF8互转  # 解决Python3中的中文字符编码的问题  # Python 内置函数进制转换的用法(十进制转二进制、八进制、十六进制)  # python读写二进制文件的方法  # 使用Python进行二进制文件读写的简单方法(推荐)  # 使用Python读取二进制文件的实例讲解  # Python二进制串转换为通用字符串的方法  # 关于Python字符编码与二进制不得不说的一些事  # 解决了  # 就必须  # 最重要  # 可以用  # 更大  # 但在  # 也可  # 这是一个  # 作为一个  # 被称为  # 一个字  # 这篇文章  # 先把  # 但不  # 设置为  # 转换为  # 很不  # 明确表示  # 英文字母  # 这并 

相关文章： 怀化网站制作公司,怀化新生儿上户网上办理流程？  如何规划企业建站流程的关键步骤？  如何通过虚拟机搭建网站？详细步骤解析  手机钓鱼网站怎么制作视频,怎样拦截钓鱼网站。怎么办？  家具网站制作软件,家具厂怎么跑业务？  怎么制作一个起泡网,水泡粪全漏粪育肥舍冬季氨气超过25ppm，可以有哪些措施降低舍内氨气水平？  如何在IIS中新建站点并配置端口与IP地址？  深圳 网站制作,深圳招聘网站哪个比较好一点啊？  小程序网站制作需要准备什么资料,如何制作小程序？  一键网站制作软件,义乌购一件代发流程？  建站之星图片链接生成指南：自助建站与智能设计教程  洛阳网站制作公司有哪些,洛阳的招聘网站都有哪些？  智能起名网站制作软件有哪些,制作logo的软件？  PHP 500报错的快速解决方法  免费制作统计图的网站有哪些,如何看待现如今年轻人买房难的情况？  制作农业网站的软件,比较好的农业网站推荐一下？  一键制作网站软件下载安装,一键自动采集网页文档制作步骤？  装修招标网站设计制作流程,装修招标流程？  建站之星安装后如何自定义网站颜色与字体？  宁波免费建站如何选择可靠模板与平台？  在线制作视频网站免费,都有哪些好的动漫网站？  如何通过二级域名建站提升品牌影响力？  如何在腾讯云免费申请建站？  定制建站流程步骤详解：一站式方案设计与开发指南  上海网站制作网站建设公司,建筑电工证网上查询系统入口？  无锡营销型网站制作公司,无锡网选车牌流程？  移动端手机网站制作软件,掌上时代，移动端网站的谷歌SEO该如何做？  国美网站制作流程,国美电器蒸汽鍋怎么用官方网站？  网站制作免费,什么网站能看正片电影？  北京的网站制作公司有哪些,哪个视频网站最好？  如何生成腾讯云建站专用兑换码？  Bpmn 2.0的XML文件怎么画流程图  宝塔面板创建网站无法访问？如何快速排查修复？  html制作网站的步骤有哪些,iapp如何添加网页？  建站VPS选购需注意哪些关键参数？  Python如何创建带属性的XML节点  制作网站的公司有哪些,做一个公司网站要多少钱？  建站主机系统SEO优化与智能配置核心关键词操作指南  电商网站制作公司有哪些,1688网是什么意思？  如何确认建站备案号应放置的具体位置？  建站之星多图banner生成与模板自定义指南  如何用wdcp快速搭建高效网站？  如何在IIS服务器上快速部署高效网站？  ,网页ppt怎么弄成自己的ppt？  如何在阿里云完成域名注册与建站？  网站视频制作书签怎么做,ie浏览器怎么将网站固定在书签工具栏？  制作网站外包平台,自动化接单网站有哪些？  个人摄影网站制作流程,摄影爱好者都去什么网站？  logo在线制作免费网站在线制作好吗,DW网页制作时，如何在网页标题前加上logo？  如何在建站宝盒中设置产品搜索功能？