• 简单谈谈python的反射机制


    反射,可以理解为利用字符串的形式去对象中操作成员属性和方法
    反射的这点特性让我联想到了exec函数,也是把利用字符串的形式去让Python解释器去执行命令
    Python Version: 3.5+

      对编程语言比较熟悉的朋友,应该知道“反射”这个机制。Python作为一门动态语言,当然不会缺少这一重要功能。然而,在网络上却很少见到有详细或者深刻的剖析论文。下面结合一个web路由的实例来阐述python的反射机制的使用场景和核心本质。

    一、前言

    def f1():
      print("f1是这个函数的名字!")
     
    s = "f1"
    print("%s是个字符串" % s)

    在上面的代码中,我们必须区分两个概念,f1和“f1"。前者是函数f1的函数名,后者只是一个叫”f1“的字符串,两者是不同的事物。我们可以用f1()的方式调用函数f1,但我们不能用"f1"()的方式调用函数。说白了就是,不能通过字符串来调用名字看起来相同的函数!

    二、web实例

      考虑有这么一个场景,根据用户输入的url的不同,调用不同的函数,实现不同的操作,也就是一个url路由器的功能,这在web框架里是核心部件之一。下面有一个精简版的示例:

      首先,有一个commons模块,它里面有几个函数,分别用于展示不同的页面,代码如下:

    # commons.py
    def login():
        print('登录页面!')
    
    def logout():
        print('退出页面!')
    
    def index():
        print('主页面')

    其次,有一个index模块,作为程序入口,接受用户输入,展示相应的页面,代码如下:(这段代码是比较初级的写法)

    import commons
    
    def run():
      inp = raw_input("请输入您想访问页面的url: ").strip()
      if inp == "login":
        commons.login()
      elif inp == "logout":
        commons.logout()
      elif inp == "home":
        commons.home()
      else:
        print("404")
    
    if __name__ == '__main__':
      run()

    我们运行index.py,输入:index,页面结果如下:

     这就实现了一个简单的WEB路由功能,根据不同的url,执行不同的函数,获得不同的页面。

     然而,让我们考虑一个问题,如果commons模块里有成百上千个函数呢(这非常正常)?。难道你在visit模块里写上成百上千个elif?显然这是不可能的!那么怎么办?

    三、反射机制

      仔细观察index中的代码,我们会发现用户输入的url字符串和相应调用的函数名好像!如果能用这个字符串直接调用函数就好了!但是,前面我们已经说了字符串是不能用来调用函数的。为了解决这个问题,python为我们提供一个强大的内置函数:getattr!我们将前面的visit修改一下,代码如下:

    import commons
    
    def run():
        inp = raw_input("请输入您想访问页面的url: ").strip()
        func = getattr(commons, inp)
        func()
    
    if __name__ == '__main__':
        run()

    首先说明一下getattr函数的使用方法:它接收2个参数,前面的是一个对象或者模块,后面的是一个字符串,注意了!是个字符串!

    例子中,用户输入储存在inp中,这个inp就是个字符串,getattr函数让程序去commons这个模块里,寻找一个叫inp的成员(是叫,不是等于),这个过程就相当于我们把一个字符串变成一个函数名的过程。然后,把获得的结果赋值给func这个变量,实际上func就指向了commons里的某个函数。最后通过调用func函数,实现对commons里函数的调用。这完全就是一个动态访问的过程,一切都不写死,全部根据用户输入来变化。

    执行上面的代码,结果和最开始的是一样的。

    这就是python的反射,它的核心本质其实就是利用字符串的形式去对象(模块)中操作(查找/获取/删除/添加)成员,一种基于字符串的事件驱动!

    这段话,不一定准确,但大概就是这么个意思。

    Look! Python的反射立了大功,使用这几行代码,可以应对commons.py文件中任意多个页面函数的调用!接下来我们来详细介绍Python反射中用到的内建函数

    0x01 getattr()

    源码:

    def getattr(object, name, default=None): # known special case of getattr
        """
        getattr(object, name[, default]) -> value
        
        Get a named attribute from an object; getattr(x, 'y') is equivalent to x.y.
        When a default argument is given, it is returned when the attribute doesn't
        exist; without it, an exception is raised in that case.
        """
        pass

    getattr()函数执行成功后会将参数中对象中的方法赋值给新的变量(会返回参数中指定的对象中的方法)相当于参数中的方法又多了一个栈区的变量去引用

    getattr()函数的第一个参数需要是个对象,上面的例子中,我导入了自定义的commons模块,commons就是个对象;第二个参数是指定前面对象中的一个方法名称。getattr(x, 'y') 等价于执行了 x.y。假如第二个参数输入了前面对象中不存在的方法,该函数会抛出异常并退出。所以这个时候,为了程序的健壮性,我们需要先判断一下该对象中有没有这个方法,于是hasattr()函数登场了~~

    0x02 hasattr()

    源码:

    def hasattr(*args, **kwargs): # real signature unknown
        """
        Return whether the object has an attribute with the given name.
        
        This is done by calling getattr(obj, name) and catching AttributeError.
        """
        pass

    hasattr()函数返回对象是否拥有指定名称的属性,简单的说就是检查在第一个参数的对象中,能否找到与第二参数名相同的方法。源码的解释还说,该函数的实现其实就是调用了getattr()函数,只不过它捕获了异常而已。所以通过这个函数,我们可以先去判断对象中有没有这个方法,有则使用getattr()来获取该方法。

    0x03 delattr()

    源码:

    import commons
    
    print(dir(commons))
    delattr(commons, 'index')
    print(dir(commons))
    
    ------------
    ['__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', 'index', 'login', 'logout']
    ['__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', 'login', 'logout']

    删除指定对象中的指定方法,特别提示:只是在本次运行程序的内存中将该方法删除,并没有影响到文件的内容。

    0x04 setattr()

    源码:

    def setattr(x, y, v): # real signature unknown; restored from __doc__
        """
        Sets the named attribute on the given object to the specified value.
        
        setattr(x, 'y', v) is equivalent to ``x.y = v''
        """
        pass

    setattr()函数用来给指定对象中的方法重新赋值(将新的函数体/方法体赋值给指定的对象名)仅在本次程序运行的内存中生效。setattr(x, 'y', v) 等价于 x.y = v

    import commons
    
    commons.index()
    
    def newindex():
        print('new 主页面!')
    
    setattr(commons, 'index', newindex)
    
    commons.index()

    输出结果:

     python的四个重要内置函数:getattrhasattrdelattrsetattr较为全面的实现了基于字符串的反射机制。他们都是对内存内的模块进行操作,并不会对源文件进行修改。

    五 ,__import__模块反射(动态导入模块

    好的,网站发展至今,功能有了很多的扩展,现在一个后台文件已经不能满足我的需求,这个时候需要根据职能划分后台文件,现在我又新增了一个account.py这个用户管理类的文件,也需要导入到首页以备调用。

    这个时候,我的首页通过反射,只能指定commons模块的方法任意调用,现在新增了account模块,是不是我又要加入if去判断啦?不用!Python已经帮我们想到这一点了!最后搬出__import__这个大救星。

    由于模块的导入也需要使用Python反射的特性,所以模块名也要加入到url中,所以现在url请求变成了类似于commons/index的形式

    # account.py
    def add_user():
        print('添加用户')
    
    def del_user():
        print('删除用户')
    # commons.py
    def login():
        print('登录页面!')
    
    def logout():
        print('退出页面!')
    
    def index():
        print('主页面')
    # index.py
    def run():
        inp = raw_input('url > ')
        m, f = inp.split('/')
        obj_module = __import__(m)
        if hasattr(obj_module, f):
            func = getattr(obj_module, f)
            func()
        else:
            print('404')
    
    if __name__ == "__main__":
        run()

    能体会到__import__的作用了吗,就是把字符串当做模块去导入。import 'sys' 和 import sys 是不一样的,不信你执行一下~~要想导入字符串'sys'只能通过__import__('sys')的方式导入

    我们来分析一下上面的代码:

      首先,我们并没有定义任何一行import语句;

      其次,用户的输入inp被要求为类似“commons/home”这种格式,其实也就是模拟web框架里的url地址,斜杠左边指向模块名,右边指向模块中的成员名。

      然后,modules,func = inp.split("/")处理了用户输入,使我们获得的2个字符串,并分别保存在modules和func变量里。

      接下来,最关键的是obj = __import__(modules)这一行,它让程序去导入了modules这个变量保存的字符串同名的模块,并将它赋值给obj变量。

      最后的调用中,getattr去modules模块中调用func成员的含义和以前是一样的。

      总结:通过__import__函数,我们实现了基于字符串的动态的模块导入。

    等等,还没完,我的网站进一步细化分工,现在又多了一层目录结构,如下所示:

    |- index.py
    |- commons.py
    |- account.py
    |- lib
        |- __init__.py
        |- connectdb.py

    现在我想在index页面中调用lib包下connectdb模块中的方法,还是用之前的方式调用可以吗?我们试一下

    def run():
        inp = input('url > ')
        m, f = inp.split('/')
        obj_module = __import__('lib.' + m)
        if hasattr(obj_module, f):
            func = getattr(obj_module, f)
            func()
        else:
            print('404')
    
    if __name__ == "__main__":
        run()
        
    ------------
    404

    哎呦,不行啊。上面我为了测试调用lib下的模块,抛弃了对所有同级目录模块的支持,可还是不行,居然找不到这个这个模块的这个方法。还是来看下源码是怎么说的。

    def __import__(name, globals=None, locals=None, fromlist=(), level=0): # real signature unknown; restored from __doc__
        """
        __import__(name, globals=None, locals=None, fromlist=(), level=0) -> module
        
        Import a module. Because this function is meant for use by the Python
        interpreter and not for general use it is better to use
        importlib.import_module() to programmatically import a module.
        
        The globals argument is only used to determine the context;
        they are not modified.  The locals argument is unused.  The fromlist
        should be a list of names to emulate ``from name import ...'', or an
        empty list to emulate ``import name''.
        When importing a module from a package, note that __import__('A.B', ...)
        returns package A when fromlist is empty, but its submodule B when
        fromlist is not empty.  Level is used to determine whether to perform 
        absolute or relative imports. 0 is absolute while a positive number
        is the number of parent directories to search relative to the current module.
        """
        pass

    __import__函数中有一个fromlist参数,源码解释说,如果在一个包中导入一个模块,这个参数如果为空,则return这个包对象,如果这个参数不为空,则返回包下面指定的模块对象,于是做出如下修改

    def run():
        inp = input('url > ')
        m, f = inp.split('/')
        obj_module = __import__('lib.' + m, fromlist=True)
        if hasattr(obj_module, f):
            func = getattr(obj_module, f)
            func()
        else:
            print('404')
    
    if __name__ == "__main__":
        run()
    
    ------------
    url > connectdb/mysql
    已连接mysql

    成功了~~ 但是为了这次成功,我写死了lib前缀,相当于抛弃了commons和account两个导入的功能,所以以上代码并不完善,需求复杂后,还是需要对请求的url做一下判断

    def run():
        inp = input('url > ')
        if len(inp.split('/')) == 2:
            m, f = inp.split('/')
            obj_module = __import__(m)
            if hasattr(obj_module, f):
                func = getattr(obj_module, f)
                func()
            else:
                print('404')
        elif len(inp.split('/')) == 3:
            p, m, f = inp.split('/')
            obj_module = __import__(p + '.' + m, fromlist=True)
            if hasattr(obj_module, f):
                func = getattr(obj_module, f)
                func()
            else:
                print('404')
    
    if __name__ == "__main__":
        run()
    # 执行
    # python3 index.py
    url > lib/connectdb/mysql
    已连接mysql
    
    
    # python3 index.py
    url > account/del_user
    删除用户

    虽然重复代码量不高,但我们仍要有一颗消除重复代码的❤️

    def run():
        if len(inp.split('/')) == 2:
            m, f = inp.split('/')
            obj_module = __import__(m)
            getf(obj_module, f)
        elif len(inp.split('/')) == 3:
            p, m, f = inp.split('/')
            obj_module = __import__(p + '.' + m, fromlist=True)
            getf(obj_module, f)
    
    def getf(m, f):
        if hasattr(m, f):
            func = getattr(m, f)
            func()
        else:
            print('404')
    
    if __name__ == "__main__":
        inp = input('url > ')
        run()

    六、最后的思考

      可能有人会问python不是有两个内置函数execeval吗?他们同样能够执行字符串。比如:

    exec("print('haha')")

    结果:

    haha

      那么直接使用它们不行吗?非要那么费劲地使用getattr, __import__干嘛?

      其实,在上面的例子中,围绕的核心主题是如何利用字符串驱动不同的事件,比如导入模块、调用函数等等,这些都是python的反射机制,是一种编程方法、设计模式的体现,凝聚了高内聚、松耦合的编程思想,不能简单的用执行字符串来代替。当然,exec和eval也有它的舞台,在web框架里也经常被使用。

    参考自:

    https://cloud.tencent.com/developer/article/1183033

    https://cloud.tencent.com/developer/article/1027895

    https://cloud.tencent.com/developer/information/python%20反射

  • 相关阅读:
    自动化测试框架搭建:Pytest+request+Allure
    免密登录
    Python中函数、方法的区别
    Python中的深浅拷贝
    Linux日志中如何查找关键字及其前后的信息
    kibana7.4.2配置文件
    Java消息队列——JMS概述
    Bootstrap学习(一):Bootstrap简介
    设计模式:简单工厂模式
    Java内存模型
  • 原文地址:https://www.cnblogs.com/leijiangtao/p/4448084.html
Copyright © 2020-2023  润新知