字符编码

一、字符编码的演进

• ASCII
• GB2312    GBK1.0    GB18030
• Unicode编码：国际标准字符集，它将世界各种语言的每个字符定义一个唯一的编码，以满足跨语言、跨平台的文本信息转换。Unicode（统一码、万国码）规定所有的字符和符号最少由16位来表示（2个字节），即：2 ** 16 = 65535
• UTF-8

二、为什么有bytes？

是因为要表示图片、视频等二进制格式的数据

 

三、如何在python2实现，写一个软件，在全球各国电脑上，都能正常显示？

答：1、以Unicode编码写你的软件，直接在内存里声明变量的时候以Unicode格式

s = u'路飞' #Unicode

2、转成Unicode，文件编码定义的utf-8，读取到内存里还是utf-8编码，所以需要解码转成Unicode

d2 = d.decode("uft-8")

d2 = d.decode("gbk")

 

四、python2 和python3的区别

py2：str = bytes，Unicode str类型，Unicode类型

py3：str = Unicode，bytes str类型

文件头声明

py2：以uft-8 or GBK 等编码的代码，代码内容加载到内存，并不会被转成Unicode，编码依然是源编码

py3：以utf-8 or GBK 等编码的代码，代码内容加载到内存，会被自动转成Unicode

 

python2

以utf-8编码的字符串，在Windows上的默认编码是GBK，读取到内存，python2上不会自动转成Unicode编码，所以不能正常显示

python3

字符串的编码改成了Unicode

str就是Unicode格式的字符串

bytes就是单纯的二进制

文件的默认编码变成了utf-8

 

在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码

用记事本编辑的时候，从文件读取的UTF-8字符被转换为Unicode字符到内存里，编辑完成后，保存的时候再把Unicode转换为UTF-8保存到文件

对于单个字符的编码，Python提供了ord()函数获取字符的整数表示，chr()函数把编码转换为对应的字符

 

python字符编码演示

一、python2 Windows终端，GBK格式

1、直接在Windows终端输入，定义的变量字符串编码格式应该是GBK

PS C:\Users\martin> python2Python 2.7.14 (v2.7.14:84471935ed, Sep 16 2017, 20:25:58) [MSC v.1500 64 bit (AMD64)] on win32Type "help", "copyright", "credits" or "license" for more information.>>> d = "路飞"         #定义一个变量，因为是在Windows终端定义的，默认编码是GBK，所以该字符串的编码格式为GBK>>> d'\xc2\xb7\xb7\xc9'    #这里可以看出来该变量是GBK格式的，GBK编码，一个中文占用两个字节，一个字节用两个十六进制表示，python2里的字符串和字节是等同的>>> print d路飞                   #这里没有乱码，是因为该字符串是GBK编码的的，终端的编码格式也是GBK，所以能正常显示>>> d2 = d.decode()   #python2 内存里默认的解码的编码是ASCII，这里没指定，常用的ASCII最高位为0，而这个字符串是中文，GBK编码，最高位为1，所以ASCII提示无法解码Traceback (most recent call last):File "
     
      ", line 1, in 
      
       UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 0: ordinal not in range(128)>>> d2 = d.decode("gbk")      #把字符串以GBK编码解码成Unicode>>> d2u'\u8def\u98de'               #Unicode类型，python2中str==byte，有单独的Unicode类型>>> print d2路飞                          #虽然这里是GBK编码的终端，但因为所有系统都支持Unicode，所以这里能正常显示>>> d3 = d2.encode("utf-8")  #将d2以utf-8编码，存储和网络传输一般选择utf-8编码>>> d3'\xe8\xb7\xaf\xe9\xa3\x9e'   #uft-8编码一个中文占3个字节>>> print d3璺                         #uft-8编码格式的d3读取到内存后，utf-8一个中文占三个字节，终端默认是GBK，GBK一个中文占两个字节，所以显示不正常
      
     

 

2、以文件的方式保存，声明编码格式为utf-8，那里面定义的变量字符串是utf-8编码格式，在python2上运行，查看结果

#!/usr/bin/env python# -*-coding:utf-8-*-d = "路飞" print(type(d))print(d)输出：
     
             #python2定义的变量为字符串类型，字符串以声明的或默认的编码格式存储字符串璺               #这里编码格式是utf-8，uft-8一个中文占三个字节，终端默认是GBK，GBK一个中文占两个字节，读取到内存后，GBK无法正确判断对应关系，所以显示不正常d2 = d.decode("utf-8") #这里讲utf-8编码格式解码成Unicodeprint(type(d2))print(d2)输出：
      
       路飞                   #虽然这里是GBK编码的终端，但因为所有系统都支持Unicode，所以这里能正常显示d3 = d2.encode("gbk")  #将Unicode编码成GBK格式print(type(d3))print(d3) 输出：
       
        路飞                   #因为终端就是GBK编码的，所以能正常显示
       
      
     

 

 

二、python3 Windows终端 GBK格式

1、直接Windows终端输入

PS C:\Users\martin> pythonPython 3.6.3 (v3.6.3:2c5fed8, Oct 3 2017, 17:26:49) [MSC v.1900 32 bit (Intel)] on win32Type "help", "copyright", "credits" or "license" for more information.>>>>>> s = "路飞"            #python3中的字符串是Unicode格式，定义的变量字符串在内存里默认都是Unicode，Unicode编码格式的字符串>>> type(s)
     
      >>> s'路飞'>>> s2 = s.encode("gbk") #将Unicode以GBK格式编码>>> type(s2)
      
       >>> s2b'\xc2\xb7\xb7\xc9'>>> s3 = s2.decode()        #将GBK格式的编码以默认的编码（uft-8）解码，因为是GBK格式的编码，所以用utf-8解码会报错Traceback (most recent call last):File "
       
        ", line 1, in 
        
         UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb7 in position 2: invalid start byte>>> s3 = s2.decode("gbk")   #将GBK格式的编码以GBK解码>>> type(s3)
         
          >>> s3'路飞'>>> s4 = s3.encode()        #以utf-8编码>>> type(s4)
          
           >>> s4b'\xe8\xb7\xaf\xe9\xa3\x9e' #一个中文占三个字节>>> s5 = s4.decode() #以uf-8解码>>> type(s5)
           
            >>> s5'路飞'
           
          
         
        
       
      
     

 

2、以文件的方式保存，声明编码格式为utf-8

 

s = "路飞"               #python3中的字符串是Unicodeprint(s)print(type(s))输出：路飞
     
      s2 = s.encode("gbk")    # 一个字节占8bit,8bit = 1byte,\x代表十六进制，两个十六进制占一个byte，把s以GBK格式编码成字节类型print(s2)print(type(s2))输出：b'\xc2\xb7\xb7\xc9'
      
       s3 = s2.decode("gbk")  #把字节类型的s3以GBK格式解码成Unicode格式的字符串print(s3)print(type(s4))输出：路飞