有时我们需要的只是树内某个地方的一小部分,因此将整个树解析到内存中,全体遍历并进行相关操作造成的内存开销会很大
因此,etree提供了两个事件驱动的解析器接口
一个是在构建树时,生成解析器事件(iterparse)
另一个根本不构建树,而是以类似SAX的方式调用目标对象的反馈方法
some_file_like = BytesIO(b"<root><a>data</a></root>") for event, element in etree.iterparse(some_file_like): print("%s, %4s, %s" % (event, element.tag, element.text) ''' 输出: end, a, data end, root, None '''
默认情况下,iterparse()只在解析完元素时生成事件,但可以通过events关键字参数控制
some_file_like = BytesIO(b"<root><a>data</a></root>") for event, element in etree.iterparse(some_file_like,events=("start", "end")): print("%5s, %4s, %s" % (event, element.tag, element.text)) ''' 输出: start, root, None start, a, data end, a, data end, root, None '''
注意,在接收开始事件时,元素的文本、尾部和子元素还不一定存在,只有结束事件才能保证元素已被完全解析
它还允许您.clear()或修改元素的内容以节省内存
因此,如果您解析一个大的树并且希望保持内存使用量小,那么您应该清理树中不再需要的部分
.clear()的keep_tail=True参数确保当前元素后面的(tail)文本内容不会被触摸
强烈建议修改解析器可能尚未完全读取的任何内容
some_file_like = BytesIO(b"<root><a><b>data</b></a><a><b/></a></root>") for event, element in etree.iterparse(some_file_like): if element.tag == 'b': print(element.text) elif element.tag == 'a': print("** cleaning up the subtree") element.clear(keep_tail=True) ''' 输出: data ** cleaning up the subtree None ** cleaning up the subtree '''
iterparse()的一个非常重要的用例是解析生成的大型XML文件,例如数据库转储
大多数情况下,这些XML格式只有一个主数据项元素挂在根节点的正下方,并且重复了数千次
在这种情况下,最好让lxml.etree来构建树,并且只截取这一个元素,使用普通的树API来提取数据
xml_file = BytesIO(b''' <root> <a><b>ABC</b><c>abc</c></a> <a><b>MORE DATA</b><c>more data</c></a> <a><b>XYZ</b><c>xyz</c></a> </root>''') for _, element in etree.iterparse(xml_file, tag='a'): print('%s -- %s' % (element.findtext('b'), element[1].text)) element.clear(keep_tail=True) ''' 输出: ABC -- abc MORE DATA -- more data XYZ -- xyz '''
如果出于某种原因根本不需要构建树,则可以使用lxml.etree的目标解析器接口
它通过调用目标对象的方法创建类似SAX的事件。通过实现部分或全部这些方法,可以控制生成哪些事件
class ParserTarget: events = [] close_count = 0 def start(self, tag, attrib): self.events.append(("start", tag, attrib)) def close(self): events, self.events = self.events, [] self.close_count += 1 return events parser_target = ParserTarget() parser = etree.XMLParser(target=parser_target) events = etree.fromstring('<root test="true"/>', parser) print(parser_target.close_count) #输出:1 for event in events: print('event: %s - tag: %s' % (event[0], event[1])) for attr, value in event[2].items(): print(' * %s = %s' % (attr, value)) ''' 输出: event: start - tag: root * test = true '''
可随时重用解析器及其目标,因此要确保.close()方法确实已将目标状态重置为可用(在出现错误时也是如此!)
events = etree.fromstring('<root test="true"/>', parser) print(parser_target.close_count) #输出:2 events = etree.fromstring('<root test="true"/>', parser) print(parser_target.close_count) #输出:3 events = etree.fromstring('<root test="true"/>', parser) print(parser_target.close_count) #输出:4 for event in events: print('event: %s - tag: %s' % (event[0], event[1])) for attr, value in event[2].items(): print(' * %s = %s' % (attr, value)) ''' 输出: event: start - tag: root * test = true '''