深刻理解Python中的元類(metaclass)

轉載來源：http://blog.jobbole.com/21351/

對應原文：http://stackoverflow.com/questions/100003/what-is-a-metaclass-in-python

譯註：這是一篇在Stack overflow上很熱的文章。提問者自稱已經掌握了有關Python OOP編程中的各種概念，但始終覺得元類(metaclass)難以理解。他知道這肯定和自省有關，但仍然覺得不太明白，希望大家可以給出一些實際的例子和程式碼片段以協助理解，以及在什麼情況下需要進行元編程。於是e-satis同學給出了神一般的回複，該回複獲得了985點的贊同點數，更有人評論說這段回複應該加入到Python的官方文檔中去。而e-satis同學本人在Stack Overflow中的聲望積分也高達64271分。以下就是這篇精彩的回複（提示：非常長）

類也是對象

在理解元類之前，你需要先掌握Python中的類。Python中類的概念借鑒於Smalltalk，這顯得有些奇特。在大多數程式設計語言中，類就是一組用來描述如何產生一個對象的程式碼片段。在Python中這一點仍然成立：

>>> class ObjectCreator(object):…       pass…>>> my_object = ObjectCreator()>>> print my_object<__main__.ObjectCreator object at 0x8974f2c>

但是，Python中的類還遠不止如此。類同樣也是一種對象。是的，沒錯，就是對象。只要你使用關鍵字class，Python解譯器在執行的時候就會建立一個對象。下面的程式碼片段：

>>> class ObjectCreator(object):…       pass…

將在記憶體中建立一個對象，名字就是ObjectCreator。這個對象（類）自身擁有建立對象（類執行個體）的能力，而這就是為什麼它是一個類的原因。但是，它的本質仍然是一個對象，於是乎你可以對它做如下的操作：

1)   你可以將它賦值給一個變數

2)   你可以拷貝它

3)   你可以為它增加屬性

4)   你可以將它作為函數參數進行傳遞

下面是樣本：

>>> print ObjectCreator     # 你可以列印一個類，因為它其實也是一個對象<class '__main__.ObjectCreator'>>>> def echo(o):…       print o…>>> echo(ObjectCreator)                 # 你可以將類做為參數傳給函數<class '__main__.ObjectCreator'>>>> print hasattr(ObjectCreator, 'new_attribute')Fasle>>> ObjectCreator.new_attribute = 'foo' #  你可以為類增加屬性>>> print hasattr(ObjectCreator, 'new_attribute')True>>> print ObjectCreator.new_attributefoo>>> ObjectCreatorMirror = ObjectCreator # 你可以將類賦值給一個變數>>> print ObjectCreatorMirror()<__main__.ObjectCreator object at 0x8997b4c>

動態地建立類

因為類也是對象，你可以在運行時動態建立它們，就像其他任何對象一樣。首先，你可以在函數中建立類，使用class關鍵字即可。

>>> def choose_class(name):…       if name == 'foo':…           class Foo(object):…               pass…           return Foo     # 返回的是類，不是類的執行個體…       else:…           class Bar(object):…               pass…           return Bar…>>> MyClass = choose_class('foo')>>> print MyClass              # 函數返回的是類，不是類的執行個體<class '__main__'.Foo>>>> print MyClass()            # 你可以通過這個類建立類執行個體，也就是對象<__main__.Foo object at 0x89c6d4c>

但這還不夠動態，因為你仍然需要自己編寫整個類的代碼。由於類也是對象，所以它們必須是通過什麼東西來產生的才對。當你使用class關鍵字時，Python解譯器自動建立這個對象。但就和Python中的大多數事情一樣，Python仍然提供給你手動處理的方法。還記得內建函數type嗎？這個古老但強大的函數能夠讓你知道一個對象的類型是什麼，就像這樣：

>>> print type(1)<type 'int'>>>> print type("1")<type 'str'>>>> print type(ObjectCreator)<type 'type'>>>> print type(ObjectCreator())<class '__main__.ObjectCreator'>

這裡，type有一種完全不同的能力，它也能動態建立類。type可以接受一個類的描述作為參數，然後返回一個類。（我知道，根據傳入參數的不同，同一個函數擁有兩種完全不同的用法是一件很傻的事情，但這在Python中是為了保持向後相容性）

type可以像這樣工作：

type(類名, 父類的元組（針對繼承的情況，可以為空白），包含屬性的字典（名稱和值）)

比如下面的代碼：

>>> class MyShinyClass(object):…       pass

可以手動像這樣建立：

>>> MyShinyClass = type('MyShinyClass', (), {})  # 返回一個類對象>>> print MyShinyClass<class '__main__.MyShinyClass'>>>> print MyShinyClass()  #  建立一個該類的執行個體<__main__.MyShinyClass object at 0x8997cec>

你會發現我們使用“MyShinyClass”作為類名，並且也可以把它當做一個變數來作為類的引用。類和變數是不同的，這裡沒有任何理由把事情弄的複雜。

type 接受一個字典來為類定義屬性，因此

>>> class Foo(object):…       bar = True

可以翻譯為：

>>> Foo = type('Foo', (), {'bar':True})

並且可以將Foo當成一個普通的類一樣使用：

>>> print Foo<class '__main__.Foo'>>>> print Foo.barTrue>>> f = Foo()>>> print f<__main__.Foo object at 0x8a9b84c>>>> print f.barTrue

當然，你可以向這個類繼承，所以，如下的代碼：

>>> class FooChild(Foo):…       pass

就可以寫成：

>>> FooChild = type('FooChild', (Foo,),{})>>> print FooChild<class '__main__.FooChild'>>>> print FooChild.bar   # bar屬性是由Foo繼承而來True

最終你會希望為你的類增加方法。只需要定義一個有著恰當簽名的函數並將其作為屬性賦值就可以了。

>>> def echo_bar(self):…       print self.bar…>>> FooChild = type('FooChild', (Foo,), {'echo_bar': echo_bar})>>> hasattr(Foo, 'echo_bar')False>>> hasattr(FooChild, 'echo_bar')True>>> my_foo = FooChild()>>> my_foo.echo_bar()True

你可以看到，在Python中，類也是對象，你可以動態建立類。這就是當你使用關鍵字class時Python在幕後做的事情，而這就是通過元類來實現的。

 

到底什麼是元類（終於到主題了）

元類就是用來建立類的“東西”。你建立類就是為了建立類的執行個體對象，不是嗎？但是我們已經學習到了Python中的類也是對象。好吧，元類就是用來建立這些類（對象）的，元類就是類的類，你可以這樣理解 為：

MyClass = MetaClass()MyObject = MyClass()

你已經看到了type可以讓你像這樣做：

MyClass = type('MyClass', (), {})

這是因為函數type實際上是一個元類。type就是Python在背後用來建立所有類的元類。現在你想知道那為什麼type會全部採用小寫形式而不是Type呢？好吧，我猜這是為了和str保持一致性，str是用來建立字串對象的類，而int是用來建立整數對象的類。type就是建立類對象的類。你可以通過檢查__class__屬性來看到這一點。Python中所有的東西，注意，我是指所有的東西——都是對象。這包括整數、字串、函數以及類。它們全部都是對象，而且它們都是從一個類建立而來。

>>> age = 35>>> age.__class__<type 'int'>>>> name = 'bob'>>> name.__class__<type 'str'>>>> def foo(): pass>>>foo.__class__<type 'function'>>>> class Bar(object): pass>>> b = Bar()>>> b.__class__<class '__main__.Bar'>

現在，對於任何一個__class__的__class__屬性又是什麼呢？

>>> a.__class__.__class__<type 'type'>>>> age.__class__.__class__<type 'type'>>>> foo.__class__.__class__<type 'type'>>>> b.__class__.__class__<type 'type'>

因此，元類就是建立類這種對象的東西。如果你喜歡的話，可以把元類稱為“類工廠”（不要和工廠類搞混了:D） type就是Python的內建元類，當然了，你也可以建立自己的元類。

__metaclass__屬性

你可以在寫一個類的時候為其添加__metaclass__屬性。

class Foo(object):    __metaclass__ = something…[…]

如果你這麼做了，Python就會用元類來建立類Foo。小心點，這裡面有些技巧。你首先寫下class Foo(object)，但是類對象Foo還沒有在記憶體中建立。Python會在類的定義中尋找__metaclass__屬性，如果找到了，Python就會用它來建立類Foo，如果沒有找到，就會用內建的type來建立這個類。把下面這段話反覆讀幾次。當你寫如下代碼時 :

class Foo(Bar):    pass

Python做了如下的操作：

Foo中有__metaclass__這個屬性嗎？如果是，Python會在記憶體中通過__metaclass__建立一個名字為Foo的類對象（我說的是類對象，請緊跟我的思路）。如果Python沒有找到__metaclass__，它會繼續在Bar（父類）中尋找__metaclass__屬性，並嘗試做和前面同樣的操作。如果Python在任何父類中都找不到__metaclass__，它就會在模組層次中去尋找__metaclass__，並嘗試做同樣的操作。如果還是找不到__metaclass__,Python就會用內建的type來建立這個類對象。

現在的問題就是，你可以在__metaclass__中放置些什麼代碼呢？答案就是：可以建立一個類的東西。那麼什麼可以用來建立一個類呢？type，或者任何使用到type或者子類化type的東東都可以。

 

自訂元類

元類的主要目的就是為了當建立類時能夠自動地改變類。通常，你會為API做這樣的事情，你希望可以建立符合當前內容相關的類。假想一個很傻的例子，你決定在你的模組裡所有的類的屬性都應該是大寫形式。有好幾種方法可以辦到，但其中一種就是通過在模組層級別設定__metaclass__。採用這種方法，這個模組中的所有類都會通過這個元類來建立，我們只需要告訴元類把所有的屬性都改成大寫形式就萬事大吉了。

幸運的是，__metaclass__實際上可以被任意調用，它並不需要是一個正式的類（我知道，某些名字裡帶有‘class’的東西並不需要是一個class，畫畫圖理解下，這很有協助）。所以，我們這裡就先以一個簡單的函數作為例子開始。

# 元類會自動將你通常傳給‘type’的參數作為自己的參數傳入def upper_attr(future_class_name, future_class_parents, future_class_attr):    '''返回一個類對象，將屬性都轉為大寫形式'''    #  選擇所有不以'__'開頭的屬性    attrs = ((name, value) for name, value in future_class_attr.items() if not name.startswith('__'))    # 將它們轉為大寫形式    uppercase_attr = dict((name.upper(), value) for name, value in attrs)     # 通過'type'來做類對象的建立    return type(future_class_name, future_class_parents, uppercase_attr) __metaclass__ = upper_attr  #  這會作用到這個模組中的所有類 class Foo(object):    # 我們也可以只在這裡定義__metaclass__，這樣就只會作用於這個類中    bar = 'bip'print hasattr(Foo, 'bar')# 輸出: Falseprint hasattr(Foo, 'BAR')# 輸出:True f = Foo()print f.BAR# 輸出:'bip'

現在讓我們再做一次，這一次用一個真正的class來當做元類。

# 請記住，'type'實際上是一個類，就像'str'和'int'一樣# 所以，你可以從type繼承class UpperAttrMetaClass(type):    # __new__ 是在__init__之前被調用的特殊方法    # __new__是用來建立對象並返回之的方法    # 而__init__只是用來將傳入的參數初始化給對象    # 你很少用到__new__，除非你希望能夠控制對象的建立    # 這裡，建立的對象是類，我們希望能夠自訂它，所以我們這裡改寫__new__    # 如果你希望的話，你也可以在__init__中做些事情    # 還有一些進階的用法會涉及到改寫__call__特殊方法，但是我們這裡不用    def __new__(upperattr_metaclass, future_class_name, future_class_parents, future_class_attr):        attrs = ((name, value) for name, value in future_class_attr.items() if not name.startswith('__'))        uppercase_attr = dict((name.upper(), value) for name, value in attrs)        return type(future_class_name, future_class_parents, uppercase_attr)

但是，這種方式其實不是OOP。我們直接調用了type，而且我們沒有改寫父類的__new__方法。現在讓我們這樣去處理:

class UpperAttrMetaclass(type):    def __new__(upperattr_metaclass, future_class_name, future_class_parents, future_class_attr):        attrs = ((name, value) for name, value in future_class_attr.items() if not name.startswith('__'))        uppercase_attr = dict((name.upper(), value) for name, value in attrs)         # 複用type.__new__方法        # 這就是基本的OOP編程，沒什麼魔法        return type.__new__(upperattr_metaclass, future_class_name, future_class_parents, uppercase_attr)

你可能已經注意到了有個額外的參數upperattr_metaclass，這並沒有什麼特別的。類的方法的第一個參數總是表示當前的執行個體，就像在普通的類方法中的self參數一樣（可以這樣理解，但事實是，__new__方法是靜態方法，但不需要指明@staticmethod或者__new__=staticmethod(__new__)，因為python解譯器內部會自動把__new__當成靜態方法處理，而且會把第一個參數當成類對象）。當然了，為了清晰起見，這裡的名字我起的比較長。但是就像self一樣，所有的參數都有它們的傳統名稱。因此，在真實的產品代碼中一個元類應該是像這樣的：

class UpperAttrMetaclass(type):    def __new__(cls, name, bases, dct):        attrs = ((name, value) for name, value in dct.items() if not name.startswith('__')        uppercase_attr  = dict((name.upper(), value) for name, value in attrs)        return type.__new__(cls, name, bases, uppercase_attr)

如果使用super方法的話，我們還可以使它變得更清晰一些，這會緩解繼承（是的，你可以擁有元類，從元類繼承，從type繼承）

class UpperAttrMetaclass(type):    def __new__(cls, name, bases, dct):        attrs = ((name, value) for name, value in dct.items() if not name.startswith('__'))        uppercase_attr = dict((name.upper(), value) for name, value in attrs)        return super(UpperAttrMetaclass, cls).__new__(cls, name, bases, uppercase_attr)

就是這樣，除此之外，關於元類真的沒有別的可說的了。使用到元類的代碼比較複雜，這背後的原因倒並不是因為元類本身，而是因為你通常會使用元類去做一些晦澀的事情，依賴於自省，控制繼承等等。確實，用元類來搞些“黑暗魔法”是特別有用的，因而會搞出些複雜的東西來。但就元類本身而言，它們其實是很簡單的：

1)   攔截類的建立

2)   修改類

3)   返回修改之後的類

 

為什麼要用metaclass類而不是函數?

由於__metaclass__可以接受任何可調用的對象，那為何還要使用類呢，因為很顯然使用類會更加複雜啊？這裡有好幾個原因：

1）  意圖會更加清晰。當你讀到UpperAttrMetaclass(type)時，你知道接下來要發生什麼。

2） 你可以使用OOP編程。元類可以從元類中繼承而來，改寫父類的方法。元類甚至還可以使用元類。

3）  你可以把程式碼群組織的更好。當你使用元類的時候肯定不會是像我上面舉的這種簡單情境，通常都是針對比較複雜的問題。將多個方法歸總到一個類中會很有協助，也會使得代碼更容易閱讀。

4） 你可以使用__new__, __init__以及__call__這樣的特殊方法。它們能幫你處理不同的任務。就算通常你可以把所有的東西都在__new__裡處理掉，有些人還是覺得用__init__更舒服些。

5） 哇哦，這東西的名字是metaclass，肯定非善類，我要小心！

 

究竟為什麼要使用元類？

現在回到我們的大主題上來，究竟是為什麼你會去使用這樣一種容易出錯且晦澀的特性？好吧，一般來說，你根本就用不上它：

“元類就是深度的魔法，99%的使用者應該根本不必為此操心。如果你想搞清楚究竟是否需要用到元類，那麼你就不需要它。那些實際用到元類的人都非常清楚地知道他們需要做什麼，而且根本不需要解釋為什麼要用元類。”  —— Python界的領袖 Tim Peters

元類的主要用途是建立API。一個典型的例子是Django ORM。它允許你像這樣定義：

class Person(models.Model):    name = models.CharField(max_length=30)    age = models.IntegerField()

但是如果你像這樣做的話：

guy  = Person(name='bob', age='35')print guy.age

這並不會返回一個IntegerField對象，而是會返回一個int，甚至可以直接從資料庫中取出資料。這是有可能的，因為models.Model定義了__metaclass__， 並且使用了一些魔法能夠將你剛剛定義的簡單的Person類轉變成對資料庫的一個複雜hook。Django架構將這些看起來很複雜的東西通過暴露出一個簡單的使用元類的API將其化簡，通過這個API重新建立代碼，在背後完成真正的工作。

 

結語

首先，你知道了類其實是能夠建立出類執行個體的對象。好吧，事實上，類本身也是執行個體，當然，它們是元類的執行個體。

>>>class Foo(object): pass>>> id(Foo)142630324

Python中的一切都是對象，它們要麼是類的執行個體，要麼是元類的執行個體，除了type。type實際上是它自己的元類，在純Python環境中這可不是你能夠做到的，這是通過在實現層面耍一些小手段做到的。其次，元類是很複雜的。對於非常簡單的類，你可能不希望通過使用元類來對類做修改。你可以通過其他兩種技術來修改類：

1） Monkey patching

2)   class decorators

當你需要動態修改類時，99%的時間裡你最好使用上面這兩種技術。當然了，其實在99%的時間裡你根本就不需要動態修改類