Python自省(反射)指南

來源:互聯網
上載者:User
文章目錄
  • 2.0. 準備工作:確定對象的類型
  • 2.1. 模組(module)
  • 2.2. 類(class)
  • 2.3. 執行個體(instance)
  • 2.4. 內建函數和方法(built-in functions and methods)
  • 2.5. 函數(function)
  • 2.6. 方法(method)
  • 2.7. 產生器(generator)
  • 2.8. 代碼塊(code)
  • 2.9. 棧幀(frame)
  • 2.10. 追蹤(traceback)
  • 3.1. 檢查物件類型
  • 3.2. 擷取對象資訊

在筆者,也就是我的概念裡,自省和反射是一回事,當然其實我並不十分確定一定以及肯定,所以如果這確實是兩個不同的概念的話,還請多多指教 :) 轉載請註明作者、出處並附上原文連結,多謝!
update 2011-3-10: 更正函數的func_globals屬性含義。 

首先通過一個例子來看一下本文中可能用到的對象和相關概念。

#coding: UTF-8import sys #  模組,sys指向這個模組對象import inspectdef foo(): pass # 函數,foo指向這個函數對象class Cat(object): # 類,Cat指向這個類對象    def __init__(self, name='kitty'):        self.name = name    def sayHi(self): #  執行個體方法,sayHi指向這個方法對象,使用類或執行個體.sayHi訪問        print self.name, 'says Hi!' # 訪問名為name的欄位,使用執行個體.name訪問cat = Cat() # cat是Cat類的執行個體對象print Cat.sayHi # 使用類名訪問執行個體方法時,方法是未綁定的(unbound)print cat.sayHi # 使用執行個體訪問執行個體方法時,方法是綁定的(bound)

有時候我們會碰到這樣的需求,需要執行對象的某個方法,或是需要對對象的某個欄位賦值,而方法名或是欄位名在編碼代碼時並不能確定,需要通過參數傳遞字串的形式輸入。舉個具體的例子:當我們需要實現一個通用的DBM架構時,可能需要對資料對象的欄位賦值,但我們無法預知用到這個架構的資料對象都有些什麼欄位,換言之,我們在寫架構的時候需要通過某種機制訪問未知的屬性。

這個機制被稱為反射(反過來讓對象告訴我們他是什麼),或是自省(讓對象自己告訴我們他是什麼,好吧我承認括弧裡是我瞎掰的- -#),用於實現在運行時擷取未知對象的資訊。反射是個很嚇唬人的名詞,聽起來高深莫測,在一般的程式設計語言裡反射相對其他概念來說稍顯複雜,一般來說都是作為進階主題來講;但在Python中反射非常簡單,用起來幾乎感覺不到與其他的代碼有區別,使用反射擷取到的函數和方法可以像平常一樣加上括弧直接調用,擷取到類後可以直接構造執行個體;不過擷取到的欄位不能直接賦值,因為拿到的其實是另一個指向同一個地方的引用,賦值只能改變當前的這個引用而已。

1. 訪問對象的屬性

以下列出了幾個內建方法,可以用來檢查或是訪問對象的屬性。這些方法可以用於任意對象而不僅僅是例子中的Cat執行個體對象;Python中一切都是對象。

cat = Cat('kitty')print cat.name # 訪問執行個體屬性cat.sayHi() # 調用執行個體方法print dir(cat) # 擷取執行個體的屬性名稱,以列表形式返回if hasattr(cat, 'name'): # 檢查執行個體是否有這個屬性    setattr(cat, 'name', 'tiger') # same as: a.name = 'tiger'print getattr(cat, 'name') # same as: print a.namegetattr(cat, 'sayHi')() # same as: cat.sayHi()
  • dir([obj]):

    調用這個方法將返回包含obj大多數屬性名稱的列表(會有一些特殊的屬性不包含在內)。obj的預設值是當前的模組對象。
  • hasattr(obj, attr):

    這個方法用於檢查obj是否有一個名為attr的值的屬性,返回一個布爾值。
  • getattr(obj, attr):

    調用這個方法將返回obj中名為attr值的屬性的值,例如如果attr為'bar',則返回obj.bar。
  • setattr(obj, attr, val):

    調用這個方法將給obj的名為attr的值的屬性賦值為val。例如如果attr為'bar',則相當於obj.bar = val。
2. 訪問對象的中繼資料

當你對一個你構造的對象使用dir()時,可能會發現列表中的很多屬性並不是你定義的。這些屬性一般儲存了對象的中繼資料,比如類的__name__屬性儲存了類名。大部分這些屬性都可以修改,不過改動它們意義並不是很大;修改其中某些屬性如function.func_code還可能導致很難發現的問題,所以改改name什麼的就好了,其他的屬性不要在不瞭解後果的情況下修改。

接下來列出特定對象的一些特殊屬性。另外,Python的文檔中有提到部分屬性不一定會一直提供,下文中將以紅色的星號*標記,使用前你可以先開啟解譯器確認一下。

2.0. 準備工作:確定對象的類型

在types模組中定義了全部的Python內建類型,結合內建方法isinstance()就可以確定對象的具體類型了。

  • isinstance(object, classinfo):

    檢查object是不是classinfo中列舉出的類型,返回布爾值。classinfo可以是一個具體的類型,也可以是多個類型的元組或列表。

types模組中僅僅定義了類型,而inspect模組中封裝了很多檢查類型的方法,比直接使用types模組更為輕鬆,所以這裡不給出關於types的更多介紹,如有需要可以直接查看types模組的文檔說明。本文第3節中介紹了inspect模組。

2.1. 模組(module)
  • __doc__: 文檔字串。如果模組沒有文檔,這個值是None。
  • *__name__: 始終是定義時的模組名;即使你使用import .. as 為它取了別名,或是賦值給了另一個變數名。
  • *__dict__: 包含了模組裡可用的屬性名稱-屬性的字典;也就是可以使用模組名.屬性名稱訪問的對象。
  • __file__: 包含了該模組的檔案路徑。需要注意的是內建的模組沒有這個屬性,訪問它會拋出異常!
import fnmatch as mprint m.__doc__.splitlines()[0] # Filename matching with shell patterns.print m.__name__                # fnmatchprint m.__file__                # /usr/lib/python2.6/fnmatch.pycprint m.__dict__.items()[0]     # ('fnmatchcase', )
2.2. 類(class)
  • __doc__: 文檔字串。如果類沒有文檔,這個值是None。
  • *__name__: 始終是定義時的類名。
  • *__dict__: 包含了類裡可用的屬性名稱-屬性的字典;也就是可以使用類名.屬性名稱訪問的對象。
  • __module__: 包含該類的定義的模組名;需要注意,是字串形式的模組名而不是模組對象。
  • *__bases__: 直接父類對象的元組;但不包含繼承樹更上層的其他類,比如父類的父類。
print Cat.__doc__           # Noneprint Cat.__name__          # Catprint Cat.__module__        # __main__print Cat.__bases__         # (,)print Cat.__dict__          # {'__module__': '__main__', ...}
2.3. 執行個體(instance)

執行個體是指類執行個體化以後的對象。

  • *__dict__: 包含了可用的屬性名稱-屬性字典。
  • *__class__: 該執行個體的類對象。對於類Cat,cat.__class__ == Cat 為 True。
print cat.__dict__print cat.__class__print cat.__class__ == Cat # True
2.4. 內建函數和方法(built-in functions and methods)

根據定義,內建的(built-in)模組是指使用C寫的模組,可以通過sys模組的builtin_module_names欄位查看都有哪些模組是內建的。這些模組中的函數和方法可以使用的屬性比較少,不過一般也不需要在代碼中查看它們的資訊。

  • __doc__: 函數或方法的文檔。
  • __name__: 函數或方法定義時的名字。
  • __self__: 僅方法可用,如果是綁定的(bound),則指向調用該方法的類(如果是類方法)或執行個體(如果是執行個體方法),否則為None。
  • *__module__: 函數或方法所在的模組名。
2.5. 函數(function)

這裡特指非內建的函數。注意,在類中使用def定義的是方法,方法與函數雖然有相似的行為,但它們是不同的概念。

  • __doc__: 函數的文檔;另外也可以用屬性名稱func_doc。
  • __name__: 函數定義時的函數名;另外也可以用屬性名稱func_name。
  • *__module__: 包含該函數定義的模組名;同樣注意,是模組名而不是模組對象。
  • *__dict__: 函數的可用屬性;另外也可以用屬性名稱func_dict。

    不要忘了函數也是對象,可以使用函數.屬性名稱訪問屬性(賦值時如果屬性不存在將新增一個),或使用內建函數has/get/setattr()訪問。不過,在函數中儲存屬性的意義並不大。
  • func_defaults: 這個屬性儲存了函數的參數預設值元組;因為預設值總是靠後的參數才有,所以不使用字典的形式也是可以與參數對應上的。
  • func_code: 這個屬性指向一個該函數對應的code對象,code對象中定義了其他的一些特殊屬性,將在下文中另外介紹。
  • func_globals: 這個屬性指向定義函數時的全域命名空間。
  • *func_closure: 這個屬性僅當函數是一個閉包時有效,指向一個儲存了所引用到的外部函數的變數cell的元組,如果該函數不是一個內建函式,則始終為None。這個屬性也是唯讀。

下面的代碼示範了func_closure:

#coding: UTF-8def foo():    n = 1    def bar():        print n # 引用非全域的外部變數n,構造一個閉包    n = 2    return barclosure = foo()print closure.func_closure# 使用dir()得知cell對象有一個cell_contents屬性可以獲得值print closure.func_closure[0].cell_contents # 2

由這個例子可以看到,遇到未知的對象使用dir()是一個很好的主意 :)

2.6. 方法(method)

方法雖然不是函數,但可以理解為在函數外面加了一層外殼;拿到方法裡實際的函數以後,就可以使用2.5節的屬性了。

  • __doc__: 與函數相同。
  • __name__: 與函數相同。
  • *__module__: 與函數相同。
  • im_func: 使用這個屬性可以拿到方法裡實際的函數對象的引用。另外如果是2.6以上的版本,還可以使用屬性名稱__func__。
  • im_self: 如果是綁定的(bound),則指向調用該方法的類(如果是類方法)或執行個體(如果是執行個體方法),否則為None。如果是2.6以上的版本,還可以使用屬性名稱__self__。
  • im_class: 實際調用該方法的類,或實際調用該方法的執行個體的類。注意不是方法的定義所在的類,如果有繼承關係的話。
im = cat.sayHiprint im.im_funcprint im.im_self # catprint im.im_class # Cat

這裡討論的是一般的執行個體方法,另外還有兩種特殊的方法分別是類方法(classmethod)和靜態方法(staticmethod)。類方法還是方法,不過因為需要使用類名調用,所以他始終是綁定的;而靜態方法可以看成是在類的命名空間裡的函數(需要使用類名調用的函數),它只能使用函數的屬性,不能使用方法的屬性。

2.7. 產生器(generator)

產生器是調用一個產生器函數(generator function)返回的對象,多用於集合對象的迭代。

  • __iter__: 僅僅是一個可迭代的標記。
  • gi_code: 產生器對應的code對象。
  • gi_frame: 產生器對應的frame對象。
  • gi_running: 產生器函數是否在執行。產生器函數在yield以後、執行yield的下一行代碼前處於frozen狀態,此時這個屬性的值為0。
  • next|close|send|throw: 這是幾個可調用的方法,並不包含中繼資料資訊,如何使用可以查看產生器的相關文檔。
def gen():    for n in xrange(5):        yield ng = gen()print g             # <generator object gen at 0x...>print g.gi_code     # <code object gen at 0x...>print g.gi_frame    # <frame object at 0x...>print g.gi_running  # 0print g.next()      # 0print g.next()      # 1for n in g:    print n,        # 2 3 4

接下來討論的是幾個不常用到的內建物件類型。這些類型在正常的編碼過程中應該很少接觸,除非你正在自己實現一個解譯器或開發環境之類。所以這裡只列出一部分屬性,如果需要一份完整的屬性工作表或想進一步瞭解,可以查看文末列出的參考文檔。

2.8. 代碼塊(code)

代碼塊可以由類原始碼、函數原始碼或是一個簡單的語句代碼編譯得到。這裡我們只考慮它指代一個函數時的情況;2.5節中我們曾提到可以使用函數的func_code屬性擷取到它。code的屬性全部是唯讀。

  • co_argcount: 普通參數的總數,不包括*參數和**參數。
  • co_names: 所有的參數名(包括*參數和**參數)和局部變數名的元組。
  • co_varnames: 所有的局部變數名的元組。
  • co_filename: 原始碼所在的檔案名稱。
  • co_flags:  這是一個數值,每一個二進位位都包含了特定資訊。較關注的是0b100(0x4)和0b1000(0x8),如果co_flags & 0b100 != 0,說明使用了*args參數;如果co_flags & 0b1000 != 0,說明使用了**kwargs參數。另外,如果co_flags & 0b100000(0x20) != 0,則說明這是一個產生器函數(generator function)。
co = cat.sayHi.func_codeprint co.co_argcount        # 1print co.co_names           # ('name',)print co.co_varnames        # ('self',)print co.co_flags & 0b100   # 0
2.9. 棧幀(frame)

棧幀表示程式運行時函數調用棧中的某一幀。函數沒有屬性可以擷取它,因為它在函數調用時才會產生,而產生器則是由函數調用返回的,所以有屬性指向棧幀。想要獲得某個函數相關的棧幀,則必須在調用這個函數且這個函數尚未返回時擷取。你可以使用sys模組的_getframe()函數、或inspect模組的currentframe()函數擷取當前棧幀。這裡列出來的屬性全部是唯讀。

  • f_back: 調用棧的前一幀。
  • f_code: 棧幀對應的code對象。
  • f_locals: 用在當前棧幀時與內建函數locals()相同,但你可以先擷取其他幀然後使用這個屬性擷取那個幀的locals()。
  • f_globals: 用在當前棧幀時與內建函數globals()相同,但你可以先擷取其他幀……。
def add(x, y=1):    f = inspect.currentframe()    print f.f_locals    # same as locals()    print f.f_back      # <frame object at 0x...>    return x+yadd(2)
2.10. 追蹤(traceback)

追蹤是在出現異常時用於回溯的對象,與棧幀相反。由於異常時才會構建,而異常未捕獲時會一直向外層棧幀拋出,所以需要使用try才能見到這個對象。你可以使用sys模組的exc_info()函數獲得它,這個函數返回一個元組,元素分別是異常類型、異常對象、追蹤。traceback的屬性全部是唯讀。

  • tb_next: 追蹤的下一個追蹤對象。
  • tb_frame: 當前追蹤對應的棧幀。
  • tb_lineno: 當前追蹤的行號。
def div(x, y):    try:        return x/y    except:        tb = sys.exc_info()[2]  # return (exc_type, exc_value, traceback)        print tb        print tb.tb_lineno      # "return x/y" 的行號div(1, 0)
3. 使用inspect模組

inspect模組提供了一系列函數用於協助使用自省。下面僅列出較常用的一些函數,想獲得全部的函數資料可以查看inspect模組的文檔。

3.1. 檢查物件類型
  • is{module|class|function|method|builtin}(obj):

    檢查對象是否為模組、類、函數、方法、內建函數或方法。
  • isroutine(obj):

    用於檢查對象是否為函數、方法、內建函數或方法等等可調用類型。用這個方法會比多個is*()更方便,不過它的實現仍然是用了多個is*()。
    im = cat.sayHiif inspect.isroutine(im):    im()

    對於實現了__call__的類執行個體,這個方法會返回False。如果目的是只要可以直接調用就需要是True的話,不妨使用isinstance(obj, collections.Callable)這種形式。我也不知道為什麼Callable會在collections模組中,抱歉!我猜大概是因為collections模組中包含了很多其他的ABC(Abstract Base Class)的緣故吧:)

3.2. 擷取對象資訊
  • getmembers(object[, predicate]):

    這個方法是dir()的擴充版,它會將dir()找到的名字對應的屬性一併返回,形如[(name, value), ...]。另外,predicate是一個方法的引用,如果指定,則應當接受value作為參數並返回一個布爾值,如果為False,相應的屬性將不會返回。使用is*作為第二個參數可以過濾出指定類型的屬性。
  • getmodule(object):

    還在為第2節中的__module__屬性只返回字串而遺憾嗎?這個方法一定可以滿足你,它返回object的定義所在的模組對象。
  • get{file|sourcefile}(object):

    擷取object的定義所在的模組的檔案名稱|原始碼檔案名稱(如果沒有則返回None)。用於內建的對象(內建模組、類、函數、方法)上時會拋出TypeError異常。
  • get{source|sourcelines}(object):

    擷取object的定義的原始碼,以字串|字串列表返回。代碼無法訪問時會拋出IOError異常。只能用於module/class/function/method/code/frame/traceack對象。
  • getargspec(func):

    僅用於方法,擷取方法聲明的參數,返回元組,分別是(普通參數名的列表, *參數名, **參數名, 預設值元組)。如果沒有值,將是空列表和3個None。如果是2.6以上版本,將返回一個命名元組(Named Tuple),即除了索引外還可以使用屬性名稱訪問元組中的元素。 
    def add(x, y=1, *z):    return x + y + sum(z)print inspect.getargspec(add)#ArgSpec(args=['x', 'y'], varargs='z', keywords=None, defaults=(1,))
  • getargvalues(frame):

    僅用於棧幀,擷取棧幀中儲存的該次函數調用的參數值,返回元組,分別是(普通參數名的列表, *參數名, **參數名, 幀的locals())。如果是2.6以上版本,將返回一個命名元組(Named Tuple),即除了索引外還可以使用屬性名稱訪問元組中的元素。
    def add(x, y=1, *z):    print inspect.getargvalues(inspect.currentframe())    return x + y + sum(z)add(2)#ArgInfo(args=['x', 'y'], varargs='z', keywords=None, locals={'y': 1, 'x': 2, 'z': ()})
  • getcallargs(func[, *args][, **kwds]):

    返回使用args和kwds調用該方法時各參數對應的值的字典。這個方法僅在2.7版本中才有。
  • getmro(cls):

    返回一個類型元組,尋找類屬性時按照這個元組中的順序。如果是新式類,與cls.__mro__結果一樣。但舊式類沒有__mro__這個屬性,直接使用這個屬性會報異常,所以這個方法還是有它的價值的。
    print inspect.getmro(Cat)#(<class '__main__.Cat'>, <type 'object'>)print Cat.__mro__#(<class '__main__.Cat'>, <type 'object'>)class Dog: passprint inspect.getmro(Dog)#(<class __main__.Dog at 0x...>,)print Dog.__mro__ # AttributeError
  • currentframe():

    返回當前的棧幀對象。

其他的操作frame和traceback的函數請查閱inspect模組的文檔,用的比較少,這裡就不多介紹了。

<全文完>

參考資料:

1. The standard type hierarchy[官方文檔][英文]

2. inspect — Inspect live objects[官方文檔][英文]

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.