共享博客Python黑魔法之描述符的使用介绍
引言
Descriptors(描述符)是Python语言中一个深奥但很重要的一个黑魔法，它被广泛应用于Python语言的内核，熟练掌握描述符将会为Python程序员的工具箱添加一个额外的技巧。本文我将讲述描述符的定义以及一些常见的场景，并且在文末会补充一下getattr，getattribute, getitem这三个同样涉及到属性访问的魔术方法。
描述符的定义
descrget(self, obj, objtype=None) --> valuedescr.set(self, obj, value) --> Nonedescr.delete(self, obj) --> None
只要一个object attribute(对象属性)定义了上面三个方法中的任意一个，那么这个类就可以被称为描述符类。
描述符基础
下面这个例子中我们创建了一个RevealAcess类，并且实现了get方法，现在这个类可以被称为一个描述符类。
class RevealAccess(object): def get(self, obj, objtype): print('self in RevealAccess: {}'.format(self)) print('self: {}obj: {}objtype: {}'.format(self, obj, objtype))class MyClass(object): x = RevealAccess() def test(self): print('self in MyClass: {}'.format(self))EX1实例属性
立即学习“Python免费学习笔记（深入）”；
接下来我们来看一下get方法的各个参数的含义，在下面这个例子中，self即RevealAccess类的实例x，obj即MyClass类的实例m，objtype顾名思义就是MyClass类自身。从输出语句可以看出，m.x访问描述符x会调用get方法。
>>> m = MyClass()>>> m.test()self in MyClass: <main.myclass>>>> m.xself in RevealAccess: <main.revealaccess>self: <main.revealaccess>obj: <main.myclass>objtype: <class></class></main.myclass></main.revealaccess></main.revealaccess></main.myclass>
EX2类属性
如果通过类直接访问属性x，那么obj接直接为None，这还是比较好理解，因为不存在MyClass的实例。
>>> MyClass.xself in RevealAccess: <main.revealaccess>self: <main.revealaccess>obj: Noneobjtype: <class></class></main.revealaccess></main.revealaccess>
描述符的原理
描述符触发
上面这个例子中，我们分别从实例属性和类属性的角度列举了描述符的用法，下面我们来仔细分析一下内部的原理：
如果是对实例属性进行访问，实际上调用了基类object的getattribute方法，在这个方法中将obj.d转译成了type(obj).dict['d'].get(obj, type(obj))。
如果是对类属性进行访问，相当于调用了元类type的getattribute方法，它将cls.d转译成cls.dict['d'].get(None, cls)，这里get()的obj为的None，因为不存在实例。
简单讲一下getattribute魔术方法，这个方法在我们访问一个对象的属性的时候会被无条件调用，详细的细节比如和getattr, getitem的区别我会在文章的末尾做一个额外的补充，我们暂时并不深究。
描述符优先级
首先，描述符分为两种:
如果一个对象同时定义了get()和set()方法，则这个描述符被称为data descriptor。
如果一个对象只定义了get()方法，则这个描述符被称为non-data descriptor。
我们对属性进行访问的时候存在下面四种情况：
data descriptor
instance dict
non-data descriptor
getattr()
它们的优先级大小是：
data descriptor > instance dict > non-data descriptor > getattr()
这是什么意思呢？就是说如果实例对象obj中出现了同名的data descriptor->d 和 instance attribute->d，obj.d对属性d进行访问的时候，由于data descriptor具有更高的优先级，Python便会调用type(obj).dict['d'].get(obj, type(obj))而不是调用obj.dict[‘d’]。但是如果描述符是个non-data descriptor，Python则会调用obj.dict['d']。
Property
每次使用描述符的时候都定义一个描述符类，这样看起来非常繁琐。Python提供了一种简洁的方式用来向属性添加数据描述符。
property(fget=None, fset=None, fdel=None, doc=None) -> property attribute
fget、fset和fdel分别是类的getter、setter和deleter方法。我们通过下面的一个示例来说明如何使用Property：
class Account(object): def init(self): self._acct_num = None def get_acct_num(self): return self._acct_num def set_acct_num(self, value): self._acct_num = value def del_acct_num(self): del self._acct_num acct_num = property(get_acct_num, set_acct_num, del_acct_num, '_acct_num property.')
如果acct是Account的一个实例，acct.acct_num将会调用getter，acct.acct_num = value将调用setter，del acct_num.acct_num将调用deleter。
>>> acct = Account()>>> acct.acct_num = 1000>>> acct.acct_num1000
Python也提供了@property装饰器，对于简单的应用场景可以使用它来创建属性。一个属性对象拥有getter,setter和deleter装饰器方法，可以使用它们通过对应的被装饰函数的accessor函数创建属性的拷贝。
class Account(object): def init(self): self._acct_num = None @property # the _acct_num property. the decorator creates a read-only property def acct_num(self): return self._acct_num @acct_num.setter # the _acct_num property setter makes the property writeable def set_acct_num(self, value): self._acct_num = value @acct_num.deleter def del_acct_num(self): del self._acct_num
如果想让属性只读，只需要去掉setter方法。
在运行时创建描述符
我们可以在运行时添加property属性：
class Person(object): def addProperty(self, attribute): # create local setter and getter with a particular attribute name getter = lambda self: self._getProperty(attribute) setter = lambda self, value: self._setProperty(attribute, value) # construct property attribute and add it to the class setattr(self.class, attribute, property(fget=getter, fset=setter, doc="Auto-generated method")) def _setProperty(self, attribute, value): print("Setting: {} = {}".format(attribute, value)) setattr(self, '_' + attribute, value.title()) def _getProperty(self, attribute): print("Getting: {}".format(attribute)) return getattr(self, '_' + attribute)>>> user = Person()>>> user.addProperty('name')>>> user.addProperty('phone')>>> user.name = 'john smith'Setting: name = john smith>>> user.phone = '12345'Setting: phone = 12345>>> user.nameGetting: name'John Smith'>>> user.dict{'_phone': '12345', '_name': 'John Smith'}静态方法和类方法
我们可以使用描述符来模拟Python中的@staticmethod和@classmethod的实现。我们首先来浏览一下下面这张表：
| Transformation | Called from an Object | Called from a Class |
|---|---|---|
| function | f(obj, *args) | f(*args) |
| staticmethod | f(*args) | f(*args) |
| classmethod | f(type(obj), *args) | f(klass, *args) |
静态方法
对于静态方法f。c.f和C.f是等价的，都是直接查询object.getattribute(c, ‘f’)或者object.getattribute(C, ’f‘)。静态方法一个明显的特征就是没有self变量。
静态方法有什么用呢？假设有一个处理专门数据的容器类，它提供了一些方法来求平均数，中位数等统计数据方式，这些方法都是要依赖于相应的数据的。但是类中可能还有一些方法，并不依赖这些数据，这个时候我们可以将这些方法声明为静态方法，同时这也可以提高代码的可读性。
使用非数据描述符来模拟一下静态方法的实现：
class StaticMethod(object): def init(self, f): self.f = f def get(self, obj, objtype=None): return self.f
我们来应用一下：
class MyClass(object): @StaticMethod def get_x(x): return xprint(MyClass.get_x(100)) # output: 100
类方法
Python的@classmethod和@staticmethod的用法有些类似，但是还是有些不同，当某些方法只需要得到类的引用而不关心类中的相应的数据的时候就需要使用classmethod了。
使用非数据描述符来模拟一下类方法的实现：
class ClassMethod(object): def init(self, f): self.f = f def get(self, obj, klass=None): if klass is None: klass = type(obj) def newfunc(*args): return self.f(klass, *args) return newfunc
其他的魔术方法
首次接触Python魔术方法的时候，我也被get, getattribute, getattr, getitem之间的区别困扰到了，它们都是和属性访问相关的魔术方法，其中重写getattr，getitem来构造一个自己的集合类非常的常用，下面我们就通过一些例子来看一下它们的应用。
getattr
Python默认访问类/实例的某个属性都是通过getattribute来调用的，getattribute会被无条件调用，没有找到的话就会调用getattr。如果我们要定制某个类，通常情况下我们不应该重写getattribute，而是应该重写getattr，很少看见重写getattribute的情况。
从下面的输出可以看出，当一个属性通过getattribute无法找到的时候会调用getattr。
In [1]: class Test(object): ...: def getattribute(self, item): ...: print('call getattribute') ...: return super(Test, self).getattribute(item) ...: def getattr(self, item): ...: return 'call getattr' ...:In [2]: Test().acall getattributeOut[2]: 'call getattr'应用
对于默认的字典，Python只支持以obj['foo']形式来访问，不支持obj.foo的形式，我们可以通过重写getattr让字典也支持obj['foo']的访问形式，这是一个非常经典常用的用法：
class Storage(dict): """ A Storage object is like a dictionary except `obj.foo` can be used in addition to `obj['foo']`. """ def getattr(self, key): try: return self[key] except KeyError as k: raise AttributeError(k) def setattr(self, key, value): self[key] = value def delattr(self, key): try: del self[key] except KeyError as k: raise AttributeError(k) def repr(self): return '<storage>'</storage>
我们来使用一下我们自定义的加强版字典：
>>> s = Storage(a=1)>>> s['a']1>>> s.a1>>> s.a = 2>>> s['a']2>>> del s.a>>> s.a...AttributeError: 'a'
getitem
getitem用于通过下标[]的形式来获取对象中的元素，下面我们通过重写getitem来实现一个自己的list。
class MyList(object): def init(self, *args): self.numbers = args def getitem(self, item): return self.numbers[item]my_list = MyList(1, 2, 3, 4, 6, 5, 3)print my_list[2]
这个实现非常的简陋，不支持slice和step等功能，请读者自行改进，这里我就不重复了。
应用
下面是参考requests库中对于getitem的一个使用，我们定制了一个忽略属性大小写的字典类。
程序有些复杂，我稍微解释一下：由于这里比较简单，没有使用描述符的需求，所以使用了@property装饰器来代替，lower_keys的功能是将实例字典中的键全部转换成小写并且存储在字典self._lower_keys中。重写了getitem方法，以后我们访问某个属性首先会将键转换为小写的方式，然后并不会直接访问实例字典，而是会访问字典self._lower_keys去查找。赋值/删除操作的时候由于实例字典会进行变更，为了保持self._lower_keys和实例字典同步，首先清除self._lower_keys的内容，以后我们重新查找键的时候再调用getitem的时候会重新新建一个self._lower_keys。
class CaseInsensitiveDict(dict): @property def lower_keys(self): if not hasattr(self, '_lower_keys') or not self._lower_keys: self._lower_keys = dict((k.lower(), k) for k in self.keys()) return self._lower_keys def _clear_lower_keys(self): if hasattr(self, '_lower_keys'): self._lower_keys.clear() def contains(self, key): return key.lower() in self.lower_keys def getitem(self, key): if key in self: return dict.getitem(self, self.lower_keys[key.lower()]) def setitem(self, key, value): dict.setitem(self, key, value) self._clear_lower_keys() def delitem(self, key): dict.delitem(self, key) self._lower_keys.clear() def get(self, key, default=None): if key in self: return self[key] else: return default
我们来调用一下这个类：
>>> d = CaseInsensitiveDict()>>> d['ziwenxie'] = 'ziwenxie'>>> d['ZiWenXie'] = 'ZiWenXie'>>> print(d){'ZiWenXie': 'ziwenxie', 'ziwenxie': 'ziwenxie'}>>> print(d['ziwenxie'])ziwenxie# d['ZiWenXie'] => d['ziwenxie']>>> print(d['ZiWenXie'])ziwenxi
-
使用python自动获取cisco配置信息
这篇文章介绍使用python自动获取cisco配置信息from netmiko import ConnectHandle...
Python
24秒前 0 -
详解python如何在前端显示后端的信息
这篇文章详解python如何在前端显示后端的信息首先在test.html中需要添加如下：<h1>下面是后端返...
Python
59秒前 0 -
Python搭建HTTP服务器和FTP服务器
这篇文章主要为大家详细介绍了python搭建http服务器和ftp服务器的相关资料，具有一定的参考价值，感兴趣的小伙伴们...
Python
2分钟前 1 -
详解pyhon中方法、属性、迭代器
这篇文章详解pyhon中方法、属性、迭代器构造方法：构造方法代表着类似于以前例子中使用过的那种名为init的初始化方法当...
Python
3分钟前 1 -
Python之BeautifulSoup库安装及其简介
一. 前言 在前面的几篇文章中我介绍了如何通过Python分析源代码来爬取博客、维基百科InfoBox和图...
Python
3分钟前 1