Python之lxml

最後更新：2018-12-05 來源：互聯網

上載者：User

創建阿里雲帳戶，並獲得超過 40 款產品的免費試用版；而企業帳戶則可以享有總值 $1200 的免費試用版。立即註冊！

作者：Shane
出處：http://bluescorpio.cnblogs.com

lxml takes all the pain out of XML.
Stephan Richter

lxml是Python語言裡和XML以及HTML工作的功能最豐富和最容易使用的庫。lxml是為libxml2和libxslt庫的一個Python化的綁定。它與眾不同的地方是它兼顧了這些庫的速度和功能完整性，以及純Python API的簡潔性，大部分與熟知的ElementTree API相容但比之更優越。

安裝lxml：

要求：需要Python2.3或更後的版本

使用easy_install工具，以超級使用者或管理員的角色run下面的命令：

easy_install lxml

在windows下，最好指定版本號碼：easy_install lxml==2.2.6

使用lxml進行開發

lxml.etree指南

通常使用lxml.etree的方式

>>> from lxml import etree

Element類，一個Element是ElementTree API的主要容器類，大部分的XML tree功能都是通過這個類來訪問的。Elements可以非常容易地通過ElementFactory 方法來建立。

>>> root = etree.Element("root")

元素的XML tag名字是通過tag屬性來訪問的

>>> print root.tag # root

Elements是在XML樹狀結構中組織的，為建立子項目並將它們加到父元素上，可以使用append()方法。

>>> root.append( etree.Element("child1") )

我們還有更高效的方法：SubElementFactory 方法，它使用和ElementFactory 方法相同的參數，不過額外需要父節點作第一個參數：

>>> child2 = etree.SubElement(root, "child2")
>>> child3 = etree.SubElement(root, "child3")

可以使用tostring()方法來看得到的XML

>>> print etree.tostring(root, pretty_print=True)
<root>
<child1/>
<child2/>
<child3/>
</root>

元素是列表

>>> child = root[0]
>>> print child.tag
child1

>>> print len(root)
3

>>> root.index(root[1]) # lxml.etree only!
1

列印所有子節點：

>>> children = list(root)

>>> for child in root:

... print(child.tag)
child1
child2
child3

可以使用insert()方法插入新的子節點：

>>> root.insert(0, etree.Element("child0"))
刪除子節點：

>>> root[0] = root[-1] # this moves the element!
>>> for child in root:
... print(child.tag)
child3
child1
child2

如果想把一個元素拷貝到不同的地方，需要建立一個獨立的deep copy。

>>> from copy import deepcopy
>>> element = etree.Element("neu")
>>> element.append( deepcopy(root[1]) )
>>> print(element[0].tag)
child1
>>> print([ c.tag for c in root ])
[’child3’, ’child1’, ’child2’]

getparent()返回父節點:
>>> root is root[0].getparent() # lxml.etree only!
True

元素的兄弟或鄰居節點是通過next和previous屬性來訪問的
The siblings (or neighbours) of an element are accessed as next and previous elements:

>>> root[0] is root[1].getprevious() # lxml.etree only!
True
>>> root[1] is root[0].getnext() # lxml.etree only!
True

帶屬性的元素

XML元素支援屬性，可以用ElementFactory 方法直接建立。

>>> root = etree.Element("root", interesting="totally")
>>> etree.tostring(root)
b’<root interesting="totally"/>’

可以使用set和get方法訪問這些屬性：

>>> print root.get("interesting")
totally
>>> root.set("interesting", "somewhat")
>>> print root.get("interesting")
somewhat

也可以使用attrib性質的字典介面

>>> attributes = root.attrib
>>> print(attributes["interesting"])
somewhat
>>> print(attributes.get("hello"))
None
>>> attributes["hello"] = "Guten Tag"
>>> print(attributes.get("hello"))
Guten Tag
>>> print(root.get("hello"))
Guten Tag

元素可以包含文字：

>>> root = etree.Element("root")
>>> root.text = "TEXT"
>>> print(root.text)
TEXT
>>> etree.tostring(root)
’<root>TEXT</root>’

如果XML用在(X)HTML中，文本也可以在不同的元素中顯示:
<html><body>Hello World</body></html>
元素有tail屬性，它包含XML 樹中元素直接跟的，直到下個元素的文本。

>>> html = etree.Element("html")
>>> body = etree.SubElement(html, "body")
>>> body.text = "TEXT"
>>> etree.tostring(html)
b’<html><body>TEXT</body></html>’
>>> br = etree.SubElement(body, "br")
>>> etree.tostring(html)
b’<html><body>TEXT </body></html>’
>>> br.tail = "TAIL"
>>> etree.tostring(html)
b’<html><body>TEXT TAIL</body></html>’

使用XPath尋找文本

另一個抽取XML樹的常值內容是XPath，
>>> print(html.xpath("string()")) # lxml.etree only!
TEXTTAIL
>>> print(html.xpath("//text()")) # lxml.etree only!
[’TEXT’, ’TAIL’]

如果經常使用，可以封裝成一個方法：

>>> build_text_list = etree.XPath("//text()") # lxml.etree only!
>>> print(build_text_list(html))
[’TEXT’, ’TAIL’]

也可以通過getparent方法得到父節點

>>> texts = build_text_list(html)
>>> print(texts[0])
TEXT
>>> parent = texts[0].getparent()
>>> print(parent.tag)
body
>>> print(texts[1])
TAIL
>>> print(texts[1].getparent().tag)
br
You can also find out if it’s normal text content or tail text:
>>> print(texts[0].is_text)
True
>>> print(texts[1].is_text)
False
>>> print(texts[1].is_tail)
True

樹的迭代：

Elements提供一個樹的迭代器可以迭代訪問樹的元素。

>>> root = etree.Element("root")
>>> etree.SubElement(root, "child").text = "Child 1"
>>> etree.SubElement(root, "child").text = "Child 2"
>>> etree.SubElement(root, "another").text = "Child 3"
>>> print(etree.tostring(root, pretty_print=True))
<root>
<child>Child 1</child>
<child>Child 2</child>
<another>Child 3</another>
</root>

>>> for element in root.iter():
... print("%s - %s" % (element.tag, element.text))
root – None
child - Child 1
child - Child 2
another - Child 3

如果知道感興趣的tag，可以把tag的名字傳給iter方法，起到過濾作用。

>>> for element in root.iter("child"):
... print("%s - %s" % (element.tag, element.text))
child - Child 1
child - Child 2

預設情況下，迭代器得到一個樹的所有節點，包括ProcessingInstructions, Comments and Entity的執行個體。如果想確認只有Elements對象返回，可以把Element factory作為參數傳入。

>>> root.append(etree.Entity("#234"))
>>> root.append(etree.Comment("some comment"))
>>> for element in root.iter():
... if isinstance(element.tag, basestring):
... print("%s - %s" % (element.tag, element.text))
... else:
... print("SPECIAL: %s - %s" % (element, element.text))
root - None
child - Child 1
child - Child 2
another - Child 3
SPECIAL: ê - ê
SPECIAL:  - some comment

>>> for element in root.iter(tag=etree.Element):
... print("%s - %s" % (element.tag, element.text))
root - None
child - Child 1
child - Child 2
another - Child 3
>>> for element in root.iter(tag=etree.Entity):
... print(element.text)

序列化：

序列化通常使用tostring()方法來返回一個字串，或者ElementTree.write()方法來寫入一個檔案，一個類檔案的對象，或者一個URL（通過FTP的PUT或者HTTP的POST）。二者都使用相同的關鍵字參數比如pretty_print來格式化輸出或者encoding來選擇一個特定的輸出編碼而不是簡單的ASCII。

>>> root = etree.XML("<root><a></a></root>")
>>> etree.tostring(root)
’<root><a></a></root>’

>>> print etree.tostring(root, xml_declaration=True)
<?xml version=’1.0’ encoding=’ASCII’?>
<root><a></a></root>

>>> print etree.tostring(root, encoding="iso-8859-1")
<?xml version=’1.0’ encoding=’iso-8859-1’?>
<root><a></a></root>

>>> print etree.tostring(root, pretty_print=True)
<root>
<a>

</a>
</root>

Note that pretty printing appends a newline at the end.

注意pretty列印在末尾添加一個新行。

從lxml2.0起，serialisation可以做的不止XML序列化，可以序列化到HTML或者通過傳遞函數關鍵字來提取常值內容。

>>> root = etree.XML("<html><head/><body>Hello World</body></html>")

>>> etree.tostring(root) # default: method = ’xml’
’<html><head/><body>Hello World</body></html>’
>>> etree.tostring(root, method="xml") # same as above
’<html><head/><body>Hello World</body></html>’
>>> etree.tostring(root, method="html")
’<html><head></head><body>Hello World</body></html>’

>>> print etree.tostring(root, method="html", pretty_print=True)
<html>
<head></head>
<body>Hello World</body>
</html>

>>> etree.tostring(root, method="text")
b’HelloWorld’

對XML序列化而言，預設的文本編碼是ASCII

>>> br = root.find(".//br")
>>> br.tail = u"W/xf6rld"
>>> etree.tostring(root, method="text") # doctest: +ELLIPSIS
Traceback (most recent call last):
...
UnicodeEncodeError: ’ascii’ codec can’t encode character u’/xf6’ ...
>>>etree.tostring(root, method="text", encoding="UTF-8")
b’HelloW/xc3/xb6rld’

>>> etree.tostring(root, encoding=unicode, method="text")
u’HelloW/xf6rld’

ElementTree類：

一個ElementTree主要是圍繞在一個有根節點的樹的文檔封裝類。它提供了很多方法來解析，序列化以及一般的文檔處理。一個最大的區別是它作為一個整體文檔來序列化。與之相對的是序列化成單個的元素。

>>> tree = etree.parse(StringIO("""/
<?xml version="1.0"?>
<!DOCTYPE root SYSTEM "test" [ <!ENTITY tasty "eggs"> ]>
<root>
<a>&tasty;</a>
</root>
"""))
>>> print(tree.docinfo.doctype)
<!DOCTYPE root SYSTEM "test">

>>> # lxml 1.3.4 and later
>>> print(etree.tostring(tree))
<!DOCTYPE root SYSTEM "test" [
<!ENTITY tasty "eggs">
]>
<root>
<a>eggs</a>
</root>

>>> # lxml 1.3.4 and later
>>> print(etree.tostring(etree.ElementTree(tree.getroot())))
<!DOCTYPE root SYSTEM "test" [
<!ENTITY tasty "eggs">
]>
<root>
<a>eggs</a>
</root>

>>> # ElementTree and lxml <= 1.3.3
>>> print(etree.tostring(tree.getroot()))
<root>
<a>eggs</a>
</root>

從字串和檔案中解析：

fromstring()是解析字串最容易的方法

>>> some_xml_data = "<root>data</root>"
>>> root = etree.fromstring(some_xml_data)
>>> print root.tag
root
>>> etree.tostring(root)
’<root>data</root>’

XML()方法和fromstring()方法類似，但它主要用來把XML文字寫入源檔案。
>>> root = etree.XML("<root>data</root>")
>>> print root.tag
root
>>> etree.tostring(root)
’<root>data</root>’

parse()方法用來從檔案或者類檔案對象中解析
>>> some_file_like = StringIO.StringIO("<root>data</root>")
>>> tree = etree.parse(some_file_like)
>>> etree.tostring(tree)
’<root>data</root>’

注意parse()返回的是一個ElementTree對象，而不是字串解析方法的Element對象。

>>> root = tree.getroot()
>>> print root.tag
root
>>> etree.tostring(root)
’<root>data</root>’

解析器對象：lxml.etree在預設情況下使用帶預設配置的標準解析器，如果想配置解析器，可以建立自己的執行個體。

>>> parser = etree.XMLParser(remove_blank_text=True) # lxml.etree only!

本例在解析的時候建立了一個移除tags之間的空的文本的解析器，這可以減少tree的大小以及避免不定的tail，如果你知道空白內容對你來說是沒有任何意義的話。

>>> root = etree.XML("<root> <a/> </root>", parser)
>>> etree.tostring(root)
b’<root><a/> </root>’
>>> for element in root.iter("*"):
... if element.text is not None and not element.text.strip():
... element.text = None
>>> etree.tostring(root)
b’<root><a/></root>’

遞增解析：

lxml.etree提供了兩種方法來實現遞增的逐步的解析。一個方法是通過類檔案對象，它重複調用read() 方法。
>>> class DataSource:
... data = [ b"<roo", b"t><", b"a/", b"><", b"/root>" ]
... def read(self, requested_size):
... try:
... return self.data.pop(0)
... except IndexError:
... return b’’
>>> tree = etree.parse(DataSource())
>>> etree.tostring(tree)
b’<root><a/></root>’

第二個方法是通過feed解析器介面，由feed(data) 和 close() 方法提供

>>> parser = etree.XMLParser()
>>> parser.feed("<roo")
>>> parser.feed("t><")
>>> parser.feed("a/")
>>> parser.feed("><")
>>> parser.feed("/root>")

>>> root = parser.close()
>>> etree.tostring(root)
’<root><a/></root>’

在調用close() 方法（或者當有exception發生的時候），可以通過調用feed() 方法重新使用parser：
>>> parser.feed("<root/>")
>>> root = parser.close()
>>> etree.tostring(root)
b’<root/>’

本文章原先以中文撰寫並發佈於 aliyun.com，亦設英文版本，僅作資訊用途。本網站不對文章的準確性，完整性或可靠性或其任何翻譯作出任何明示或暗示的陳述或保證。如對該文章有任何疑慮或投訴，請傳送電郵至 info-contact@alibabacloud.com 並提供相關疑慮或投訴的詳細說明。職員會於 5 個工作天內與您聯絡，一經驗證之後，即會刪除該侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

Get Started for Free

Sales Support

1 on 1 presale consultation

Chat Contact Sales
After-Sales Support

24/7 Technical Support 6 Free Tickets per Quarter Faster Response

Open a Ticket
Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.

Learn More