（七）元类 metaclass

一、引言

---

1，元类属于python面向对象编程的深层魔法，接下来，我们就一起来深度了解python元类的来龙去脉。

2，补充：exec 的用法：

# 储备知识 exec
# 参数1：字符串形式的命令
# 参数2：全局作用域(字典形式)，如果不指定，默认就使用 globals()
# 参数3：局部作用域(字典形式)，如果不指定，默认就使用 locals()
"""
exec 命令实际上就是相当于一个函数的执行，可以用 global 去引用，去操作全局作用域的名字，
     也可以自己产生新的名字，但是是产生到局部作用域,会将执行期间产生的名字存放于局部名称空间中
"""

g = {
    "x":1,
    "y":2,
}

l = {}

# 可以把 exec 中的代码当成一个函数执行
exec("""
global x,m
x = 10
m = 100

z = 3
""",g,l)


print(g)            # {'x': 10, 'y': 2, ...}
print(g["m"])       # 100
print(l)            # {'z': 3}

二、定义类的两种方式

---

 1，方式一：

class Chinese:      # Chinese = type(...)
    country = "China"

    def __init__(self,name,age):
        self.name = name
        self.age = age

    def talk(self):
        print("%s is talking" % self.name)
print(Chinese)                  # <class '__main__.Chinese'>
obj = Chinese("子系",18)  
print(obj,obj.name,obj.age)     # <__main__.Chinese object at 0x000002BA9C87DBA8> 子系 18

2，方式二：type

# 定义类的三要素：类名，类的基类们（继承)，类的名称空间
class_name = "Chinese"
class_bases = (object,)

class_body = """
country = "China"

def __init__(self,name,age):
    self.name = name
    self.age = age

def talk(self):
    print("%s is talking" % self.name)
"""
class_dic = {}
exec(class_body,globals(),class_dic)

Chinese1 = type(class_name,class_bases,class_dic)
print(Chinese1)                     # <class '__main__.Chinese'>

obj1 = Chinese1("子系",18)
print(obj1,obj1.name,obj1.age)      # <__main__.Chinese object at 0x0000015EF9A8DB70> 子系 18

三、什么是元类

---

1，python 中一切皆对象，对象可以怎么用？

1）都可以被引用，x = obj(模块名，函数名，对象，数据类型)

2）都可以当作函数的参数传入

3）都可以当作函数的返回值（函数的返回值，没有类型的限制，返回什么都成）

4）都可以当作容器类型的元素　　lis = [func, time, obj, 1]

但凡符合这四个用法的，就是对象。

# 类也是对象,    Foo = type(....)        , 类的类就是元类,这里就是 type 。
class Foo:
    pass

obj = Foo()
print(type(obj))    # <class '__main__.Foo'>
print(type(Foo))    # <class 'type'>

class Bar:
    pass
print(type(Bar))    # <class 'type'>

2，结论：产生类的类就称之为元类，默认所有用 class 定义的类，它们的元类都是 type

3，其实一切都源自于一句话：python 中一切皆为对象。让我们先定义一个类，然后逐步分析。

class World(object):
    country = "china"

    def __init__(self,name,age):
        self.name = name
        self.age = age

    def say(self):
        print("%s says chinese." % self.name)

所有的对象都是实例化或者说调用类而得到的（调用类的过程称为类的实例化），比如对象 zx 是调用类 World 得到的。

zx = World("zixi",20)
print(type(zx))     # 查看对象 zx 的类是 <class '__main__.World'>

如果一切皆为对象，那么类 World 本质也是一个对象，既然所有的对象都是调用类得到的，那么 World 必然也是调用了一个类得到的，这个类称为元类。

于是我们可以推导出 ===> 产生 World 的过程一定发生了：World = 元类(...)

print(type(World))      # 输出 <class 'type'> ，证明是调用了 type 这个元类而产生的 World，即默认的元类为 type

四、class 关键字创建类的流程分析

---

上面我们基于 python 中一切皆为对象的概念分析出：我们用 class 关键字定义的类本身也是一个对象，负责产生该对象的类称之为元类（元类可以简称为类的类），内置的元类为 type。

class 关键字在帮我们创建类时，必然帮我们调用了元类 World = type(...)，那调用 type 时传入的参数是什么呢？必然是类的关键组成部分，一个类有三大组成部分，分别是：

1，类名 class_name = 'World'

2，基类们 class_bases = (object,)

3，类的名称空间 class_dic，类的名称空间是执行类体代码而得到的

调用 type 时会依次传入以上三个参数

综上，class 关键字帮我们创建一个类应该细分为以下四个过程：

五、自定义元类控制类 World 的创建

---

一个类没有声明自己的元类，默认他的元类就是 type，除了使用内置元类 type，我们也可以通过继承 type 来自定义元类，然后使用 metaclass 关键字参数为一个类指定元类。

class Mymeta(type):     # 只有继承了 type 类才能称之为一个元类，否则就是一个普通的自定义类
    pass

class World(object, metaclass=Mymeta):      # World = Mymeta("World", (object), {...})
    country = "china"

    def __init__(self,name,age):
        self.name = name
        self.age = age

    def say(self):
        print("%s says chinese." % self.name)

自定义元类可以控制类的产生过程，类的产生过程其实就是元类的调用过程，

即 World = Mymeta('World ', (object), {...})，调用 Mymeta 会先产生一个空对象 World，

然后连同调用 Mymeta 括号内的参数一同传给 Mymeta 下的 __init__ 方法，完成初始化，于是我们可以：

class Mymeta(type):     # 只有继承了 type 类才能称之为一个元类，否则就是一个普通的自定义类
    def __init__(self,class_name,class_bases,class_dic):
        print(self)
        print(class_bases)
        print(class_dic)
        super(Mymeta,self).__init__(class_name,class_bases,class_dic)   # 重用父类的功能
        
        if class_name.islower():
            raise TypeError("类名%s错误，请修改为驼峰体。" % class_name)
        if "__doc__" not in class_dic or len(class_dic["__doc__"].strip("
")) == 0:
            raise TypeError("类中必须有文档注释，并且文档注释不能为空。")

class World(object, metaclass=Mymeta):      # World = Mymeta("World", (object), {...})
    """类 World 的文档注释"""
    country = "china"

    def __init__(self,name,age):
        self.name = name
        self.age = age

    def say(self):
        print("%s says chinese." % self.name)

六、自定义元类控制类 World 的调用

---

1，__call__ 方法

class Foo:
    def __call__(self, *args, **kwargs):
        print(self)
        print(args)
        print(kwargs)

obj = Foo()
# 1、要想让 obj 这个对象变成一个可调用的对象，需要在该对象的类中定义一个方法 __call__ 方法，该方法会在调用对象时自动触发
# 2、调用o bj 的返回值就是 __call__ 方法的返回值
res = obj(1, 2, 3, x=1, y=2)
"""
<__main__.Foo object at 0x000001EE2B1AD908>
(1, 2, 3)
{'x': 1, 'y': 2}
"""

由上例得知，调用一个对象，就是触发对象所在类中的 __call__ 方法的执行，如果把 World 也当做一个对象，那么在 World 这个对象的类中也必然存在一个 __call__ 方法。

class Mymeta(type):     # 只有继承了 type 类才能称之为一个元类，否则就是一个普通的自定义类
    def __call__(self,*args,**kwargs):
        print(self)
        print(args)
        print(kwargs)
        return 777

class World(object, metaclass=Mymeta):
    country = "china"

    def __init__(self,name,age):
        self.name = name
        self.age = age

    def say(self):
        print("%s says chinese." % self.name)

# 调用 World 就是在调用 World 类中的 __call__ 方法
# 然后将 World 传给 self，溢出的位置参数传给*args，溢出的关键字参数传给**kwargs
# 调用 World 的返回值就是调用 __call__ 的返回值
zx = World("zixi",20)
print(zx)
"""
<class '__main__.World'>
('zixi', 20)
{}
777
"""

默认地，调用 zx = World("zixi",20) 会做三件事

1，产生一个空对象 obj

2，调用 __init__ 方法初始化对象 obj

3，返回初始化好的 obj

对应着，World 类中的 __call__ 方法也应该做这三件事

class Mymeta(type):     # 只有继承了 type 类才能称之为一个元类，否则就是一个普通的自定义类
    
    def __call__(self,*args,**kwargs):  # self = <class '__main__.World'>
        # 1.调用 __new__ 产生一个空对象 obj
        obj = self.__new__(self)    # 此处的 self 是类 World，必须传参，代表创建一个 World 的对象 obj

        # 2.调用 __init__ 初始化空对象 obj
        self.__init__(obj,*args,**kwargs)

        # 3.返回初始化好的对象 obj
        return obj


class World(object, metaclass=Mymeta):
    country = "china"

    def __init__(self,name,age):
        self.name = name
        self.age = age

    def say(self):
        print("%s says chinese." % self.name)


zx = World("zixi",20)
print(zx.__dict__)      # {'name': 'zixi', 'age': 20}

上例的 __call__ 相当于一个模板，我们可以在该基础上改写 __call__ 的逻辑从而控制调用 World 的过程，比如将 World 的对象的所有属性都变成私有的。

class Mymeta(type):     # 只有继承了 type 类才能称之为一个元类，否则就是一个普通的自定义类

    def __call__(self,*args,**kwargs):  # self = <class '__main__.World'>
        # 1.调用 __new__ 产生一个空对象 obj
        obj = self.__new__(self)    # 此处的 self 是类 World，必须传参，代表创建一个 World 的对象 obj

        # 2.调用 __init__ 初始化空对象 obj
        self.__init__(obj,*args,**kwargs)

        # 在初始化之后，obj.__dict__ 里就有值了
        obj.__dict__ = {"_%s__%s" % (self.__name__,k):v for k,v in obj.__dict__.items()}

        # 3.返回初始化好的对象 obj
        return obj


class World(object, metaclass=Mymeta):
    country = "china"

    def __init__(self,name,age):
        self.name = name
        self.age = age

    def say(self):
        print("%s says chinese." % self.name)


zx = World("zixi",20)
print(zx.__dict__)      # {'_World__name': 'zixi', '_World__age': 20}

上例中涉及到查找属性的问题，比如 self.__new__，请看下面

七、再看属性查找

---

结合 python 继承的实现原理+元类，重新看属性的查找应该是什么样子呢？？？

在学习完元类后，其实我们用 class 自定义的类也全都是对象（包括 object 类本身也是元类 type 的一个实例，可以用 type(object) 查看），我们学习过继承的实现原理，如果把类当成对象去看，那么下述继承应该说成是：对象 World 继承对象Foo，对象 Foo 继承对象 Bar，对象 Bar 继承对象 object。

class Mymeta(type):     # 只有继承了 type 类才能称之为一个元类，否则就是一个普通的自定义类
    x = 777

    def __call__(self,*args,**kwargs):  # self = <class '__main__.World'>
        obj = self.__new__(self)
        self.__init__(obj,*args,**kwargs)
        return obj

class Bar(object):
    # x = 333
    pass

class Foo(Bar):
    # x = 999
    pass

class World(Foo, metaclass=Mymeta):
    # x = 666
    country = "china"

    def __init__(self,name,age):
        self.name = name
        self.age = age

    def say(self):
        print("%s says chinese." % self.name)


print(World.x)  # 666,999,333,777
# 发现 x World-->Foo-->Bar-->object-->Mymeta-->type
# 找到类 type 中，没有这个属性，就报错了

于是属性查找应该分成两层，一层是对象层（基于 c3 算法的 MRO）的查找，另外一个层则是类层（即元类层）的查找。

# 查找顺序：
# 1，先对象层：World --> Foo --> Bar --> Object
# 2，然后元类层：Mymeta --> type

依据上述总结，我们来分析下元类 Mymeta 中 __call__ 里的 self.__new__ 的查找

class Mymeta(type):
    x = 777

    def __call__(self,*args,**kwargs):  # self = <class '__main__.World'>
        obj = self.__new__(self)
        print(self.__new__ is object.__new__)   # False

class Bar(object):
    x = 333
    def __new__(cls,*args,**kwargs):
        print("Bar.__new__")

class Foo(Bar):
    x = 999
    def __new__(cls,*args,**kwargs):
        print("Foo.__new__")

class World(Foo, metaclass=Mymeta):
    x = 666
    country = "china"

    def __init__(self,name,age):
        self.name = name
        self.age = age

    def say(self):
        print("%s says chinese." % self.name)

    def __new__(cls,*args,**kwargs):
        print("World.__new__")

World("zixi",20)    # 触发 World 的类中的__call__方法的执行，进而执行 self.__new__ 开始查找
"""
World.__new__
False
"""

总结，Mymeta 下的 __call__ 里的 self.__new__ 在 World、Foo、Ba r里都没有找到 __new__ 的情况下，会去找object 里的__new__，而 object 下默认就有一个__new__，所以即便是之前的类均未实现 __new__，也一定会在object 中找到一个，根本不会，也根本没必要再去元类 Mymeta->type 中查找 __new__。

我们在元类的 __call__ 中也可以用 object.__new__(self) 去造对象。

但我们还是推荐在 __call__ 中使用 self.__new__（self）去创造空对象，因为这种方式会检索三个类World->Foo->Bar，而 object.__new__ 则是直接跨过了他们三个。

最后说明一点：

class Mymeta(type):
    x = 777

    def __new__(cls,*args,**kwargs):
        obj = type.__new__(cls,*args,**kwargs)  # 必须按照这种传值方式
        print(obj.__dict__)
        # return obj  # 只有在返回值是 type 的对象时，才会触发下面的 __init__ 方法
        return 517

    def __init__(self,class_name,class_bases,class_dic):
        print("run...")

class World(object, metaclass=Mymeta):
    x = 666
    country = "china"

    def __init__(self,name,age):
        self.name = name
        self.age = age

    def say(self):
        print("%s says chinese." % self.name)

    def __new__(cls,*args,**kwargs):
        print("World.__new__")

print(type(Mymeta))     # <class 'type'>
# 输出：{'__module__': '__main__', 'x': 666, 'country': 'china', '__init__': <function World.__init__ at 0x00000276513FFC80>, 'say': <function World.say at 0x00000276513FFD08>, '__new__': <staticmethod object at 0x0000027651402710>, '__dict__': <attribute '__dict__' of 'World' objects>, '__weakref__': <attribute '__weakref__' of 'World' objects>, '__doc__': None}
"""
产生类 World 的过程就是在调用 Mymeta，而 Mymeta 也是 type 类的一个对象，那么 Mymeta 之所以可以调用，一定是在元类 type 中有一个__call__方法
该方法中同样需要做至少三件事：
class type:
    def __call__(self, *args, **kwargs):    # self=<class '__main__.Mymeta'>
        obj = self.__new__(self,*args,**kwargs)     # 产生Mymeta的一个对象
        self.__init__(obj,*args,**kwargs) 
        return obj
"""

八、练习题

---

1，练习一：在元类中控制把自定义类的数据属性都变成大写

class Mymetaclass(type):
    def __new__(cls,name,bases,attrs):
        update_attrs={}
        for k,v in attrs.items():
            if not callable(v) and not k.startswith('__'):
                update_attrs[k.upper()]=v
            else:
                update_attrs[k]=v
        return type.__new__(cls,name,bases,update_attrs)

class Chinese(metaclass=Mymetaclass):
    country='China'
    tag='Legend of the Dragon' #龙的传人
    def walk(self):
        print('%s is walking' %self.name)


print(Chinese.__dict__)
'''
{'__module__': '__main__',
 'COUNTRY': 'China', 
 'TAG': 'Legend of the Dragon',
 'walk': <function Chinese.walk at 0x0000000001E7B950>,
 '__dict__': <attribute '__dict__' of 'Chinese' objects>,                                         
 '__weakref__': <attribute '__weakref__' of 'Chinese' objects>,
 '__doc__': None}
'''

2，练习二：在元类中控制自定义的类无需__init__方法

1）元类帮其完成创建对象，以及初始化操作

2）要求实例化时传参必须为关键字形式，否则抛出异常TypeError: must use keyword argument

3）key作为用户自定义类产生对象的属性，且所有属性变成大写

class Mymetaclass(type):
    # def __new__(cls,name,bases,attrs):
    #     update_attrs={}
    #     for k,v in attrs.items():
    #         if not callable(v) and not k.startswith('__'):
    #             update_attrs[k.upper()]=v
    #         else:
    #             update_attrs[k]=v
    #     return type.__new__(cls,name,bases,update_attrs)

    def __call__(self, *args, **kwargs):
        if args:
            raise TypeError('must use keyword argument for key function')
        obj = object.__new__(self) #创建对象，self为类Foo

        for k,v in kwargs.items():
            obj.__dict__[k.upper()]=v
        return obj

class Chinese(metaclass=Mymetaclass):
    country='China'
    tag='Legend of the Dragon' #龙的传人
    def walk(self):
        print('%s is walking' %self.name)


p=Chinese(name='egon',age=18,sex='male')
print(p.__dict__)

3，练习三：在元类中控制自定义的类产生的对象相关的属性全部为隐藏属性

class Mymeta(type):
    def __init__(self,class_name,class_bases,class_dic):
        #控制类Foo的创建
        super(Mymeta,self).__init__(class_name,class_bases,class_dic)

    def __call__(self, *args, **kwargs):
        #控制Foo的调用过程，即Foo对象的产生过程
        obj = self.__new__(self)
        self.__init__(obj, *args, **kwargs)
        obj.__dict__={'_%s__%s' %(self.__name__,k):v for k,v in obj.__dict__.items()}

        return obj

class Foo(object,metaclass=Mymeta):  # Foo=Mymeta(...)
    def __init__(self, name, age,sex):
        self.name=name
        self.age=age
        self.sex=sex


obj=Foo('egon',18,'male')
print(obj.__dict__)

4，练习四：基于元类实现单例模式

#步骤五：基于元类实现单例模式
# 单例：即单个实例，指的是同一个类实例化多次的结果指向同一个对象，用于节省内存空间
# 如果我们从配置文件中读取配置来进行实例化，在配置相同的情况下，就没必要重复产生对象浪费内存了
#settings.py文件内容如下
HOST='1.1.1.1'
PORT=3306

#方式一:定义一个类方法实现单例模式
import settings

class Mysql:
    __instance=None
    def __init__(self,host,port):
        self.host=host
        self.port=port

    @classmethod
    def singleton(cls):
        if not cls.__instance:
            cls.__instance=cls(settings.HOST,settings.PORT)
        return cls.__instance


obj1=Mysql('1.1.1.2',3306)
obj2=Mysql('1.1.1.3',3307)
print(obj1 is obj2) #False

obj3=Mysql.singleton()
obj4=Mysql.singleton()
print(obj3 is obj4) #True



#方式二：定制元类实现单例模式
import settings

class Mymeta(type):
    def __init__(self,name,bases,dic): #定义类Mysql时就触发

        # 事先先从配置文件中取配置来造一个Mysql的实例出来
        self.__instance = object.__new__(self)  # 产生对象
        self.__init__(self.__instance, settings.HOST, settings.PORT)  # 初始化对象
        # 上述两步可以合成下面一步
        # self.__instance=super().__call__(*args,**kwargs)


        super().__init__(name,bases,dic)

    def __call__(self, *args, **kwargs): #Mysql(...)时触发
        if args or kwargs: # args或kwargs内有值
            obj=object.__new__(self)
            self.__init__(obj,*args,**kwargs)
            return obj

        return self.__instance




class Mysql(metaclass=Mymeta):
    def __init__(self,host,port):
        self.host=host
        self.port=port



obj1=Mysql() # 没有传值则默认从配置文件中读配置来实例化，所有的实例应该指向一个内存地址
obj2=Mysql()
obj3=Mysql()

print(obj1 is obj2 is obj3)

obj4=Mysql('1.1.1.4',3307)



#方式三:定义一个装饰器实现单例模式
import settings

def singleton(cls): #cls=Mysql
    _instance=cls(settings.HOST,settings.PORT)

    def wrapper(*args,**kwargs):
        if args or kwargs:
            obj=cls(*args,**kwargs)
            return obj
        return _instance

    return wrapper


@singleton # Mysql=singleton(Mysql)
class Mysql:
    def __init__(self,host,port):
        self.host=host
        self.port=port

obj1=Mysql()
obj2=Mysql()
obj3=Mysql()
print(obj1 is obj2 is obj3) #True

obj4=Mysql('1.1.1.3',3307)
obj5=Mysql('1.1.1.4',3308)
print(obj3 is obj4) #False