django大量匯入xml資料

django後台大量匯入資料

在生產環境中，往往資料不是幾條或者幾百條，那麼舉個例子，將公司所有員工員工號或者帳號密碼匯入進後台，那就不建議你去後台一條條記錄去添加了

如何從xml中大量匯入svn記錄

第一步：

為資料建立模型

@python_2_unicode_compatibleclass SVNLog(models.Model):  vision = models.IntegerField(verbose_name=u"修訂版本", blank=False, null=False,)  author = models.CharField(verbose_name=u"作者", max_length=60, blank=True, null=True)  date = models.DateTimeField(verbose_name=u"修訂時間",null=True )  msg = models.TextField(verbose_name=u"注釋訊息", blank=False, null=False, default=u"")  paths = models.TextField(verbose_name=u"影響的檔案", blank=False, null=False, default=u"")  created_time = models.DateTimeField(verbose_name=u"建立時間", auto_now_add=True, )  update_time = models.DateTimeField(verbose_name=u"修改時間", auto_now=True, )  class Meta:    ordering = ['revision']  def __str__(self):    return u'r%s' % (self.revision or u"", )

既然建立好了模型，那我們再去建立接受我們xml檔案的models

@python_2_unicode_compatibleclass ImportLogFile(models.Model):  LogFile = models.FileField(upload_to='LogFile')  FileName = models.CharField(max_length=50, verbose_name=u'檔案名稱')  class Meta:    ordering = ['FileName']  def __str__(self):    return self.FileName

ok,以上代碼我們定義好了資料和上傳檔案的model

同步資料庫

python manage.py makemigrationspython manage.py migrate

接著我們去修改admin.py 讓我們可以從後台上傳檔案，

class ImportLogAdmin(admin.ModelAdmin):  list_display = ('LogFile','FileName',)  list_filter = ['FileName',]  def save_model(self, request, obj, form, change):    re = super(YDImportLogAdmin,self).save_model(request, obj, form, change)    update_svn_log(self, request, obj, change)    return re

注意上面代碼裡的save_model,這裡才是關鍵，在這裡我重寫了ModelAdmin裡的save_model方法
因為我們要把上傳檔案，讀取檔案，解析檔案，操作資料庫合為一步來操作，大家可以開啟debug，在上傳檔案的時候，返回參數的obj裡包括了檔案上傳的路徑，這個路徑也是下一步我們操作解析檔案的關鍵，好了我們在這個app檔案夾下建立一個utils.py 用來操作我們操作檔案和資料庫的工具類，為了簡單我寫成了函數如下
先貼一下我們要測試的xml檔案

qwert2016-09-27T07:16:37.396449Z/aaa/README20160927 151630VisualSVN Server2016-09-20T05:03:12.861315Z/branches/tags/trunkhello word

輸出結果格式

r2 | qwer | 2016-09-27 15:16:37 +0800 (二, 27 9 2016) | 1 lineChanged paths:  A /xxx/README20160927 151630------------------------------------------------------------------------r1 | VisualSVN Server | 2016-09-20 13:03:12 +0800 (二, 20 9 2016) | 1 lineChanged paths:  A /branches  A /tags  A /trunkInitial structure.from .models import SVNLogimport xmltodictdef update_svn_log(self, request, obj, change):  headers = ['r','a','d','m','p']  filepath = obj.LogFile.path  xmlfile = xmltodict.parse(open(filepath, 'r'))  xml_logentry = xml.get('log').get('logentry')  info_list = []  pathlist = []  sql_insert_list = []  sql_update_list = []  for j in xml:    data_dict = {}    # get path    paths = j.get('paths').get('path')    if isinstance(paths,list):      for path in paths:        action = path.get('@action')        pathtext = path.get('#text')        pathtext = action + ' ' + pathtext        pathlist.append(pathtext)              _filelist = u'\n'.join(pathlist)      _paths = u"Changed paths:\n {}".format(_filelist)      print _paths    else:      _filelist = paths.get('@action') + ' ' + paths.get('#text')      _paths = u"Changed paths:\n {}".format(_filelist)      print _paths    # get revision    vision = j.get('@vision')    # get auth    author = j.get('author')    #get date    date = j.get('date')    #get msg    msg = j.get('msg')    data_dict[headers[0]] = int(vision)    data_dict[headers[1]] = author    data_dict[headers[2]] = date    data_dict[headers[3]] = msg    data_dict[headers[4]] = _paths    info_list.append(data_dict)  _svnlog = SVNLog.objects.filter().order_by('-vision').first()  _last_version = _svnlog.vision if _svnlog else 0  for value in info_list:    vision = value['r']    author = value['a']    date = value['d']    msg = value['m']    paths = value['p']    print vision,author    _svnlog = YDSVNLog.objects.filter().order_by('-revision').first()    _last_version = _svnlog.revision if _svnlog else 0    if vision > _last_version:      sql_insert_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths))    else:      sql_update_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths))  SVNLog.objects.bulk_create(sql_insert_list)  SVNLog.objects.bulk_create(sql_update_list)

我們使用的xmltodict這個第三方庫來解析xml，他把內容解析成了高效率的orderdict類型，就是有序列的字典
這個xml中比較複雜的是那個paths裡的path，因為這個xml中包含兩個元素，第一個元素的path只含有一個path，第二個元素中的paths包含有三個path，因此我們在解析擷取的時候需要判斷一下

paths = j.get('paths').get('path')if isinstance(paths,list):  pass

我們判斷這個path是不是一個list類型的，如果是，那我們就按照list的方式來處理，如果不是，那我們就按單個的方式來處理,擷取之後按照輸出結果格式處理下結果然後擷取其他內容

revision = j.get('@vision')# get authauthor = j.get('author')#get datedate = j.get('date')#get msgmsg = j.get('msg')

最後我們將擷取到的元素存在字典裡
在迴圈中判斷當前的版本號碼和資料庫中的版本號碼，
如果比原來的小，那麼我們執行更新操作，反之執行插入操作

最後使用了bulk_create來操作資料庫，這樣避免了迴圈中每次都進行資料庫操作造成的資源浪費

