python資料表的合并(python pandas join() 、merge()和concat()的用法)

標籤：index   select   pre   串連方式   內串連   使用   rom   尾碼   keyword   

merage#

pandas提供了一個類似於關聯式資料庫的串連(join)操作的方法<Strong>merage</Strong>,可以根據一個或多個鍵將不同DataFrame中的行串連起來，文法如下：

merge(left, right, how=‘inner‘, on=None, left_on=None, right_on=None,      left_index=False, right_index=False, sort=True,      suffixes=(‘_x‘, ‘_y‘), copy=True, indicator=False)

作為一個功能完善、強大的語言，python的pandas庫中的merge()支援各種內外串連。

• left與right：兩個不同的DataFrame
• how：指的是合并(串連)的方式有inner(內串連),left(左外串連),right(右外串連),outer(全外串連);預設為inner
• on : 指的是用於串連的列索引名稱。必須存在右右兩個DataFrame對象中，如果沒有指定且其他參數也未指定則以兩個DataFrame的列名交集做為串連鍵
• left_on：左則DataFrame中用作串連鍵的列名;這個參數中左右列名不相同，但代表的含義相同時非常有用。
• right_on：右則DataFrame中用作 串連鍵的列名
• left_index：使用左則DataFrame中的行索引做為串連鍵
• right_index：使用右則DataFrame中的行索引做為串連鍵
• sort：預設為True，將合并的資料進行排序。在大多數情況下設定為False可以提高效能
• suffixes：字串值組成的元組，用於指定當左右DataFrame存在相同列名時在列名後面附加的尾碼名稱，預設為(‘_x‘,‘_y‘)
• copy：預設為True,總是將資料複製到資料結構中；大多數情況下設定為False可以提高效能
• indicator：在 0.17.0中還增加了一個顯示合并資料中來源情況；如只來自己於左邊(left_only)、兩者(both)

sql中的

SELECT *FROM df1INNER JOIN df2  ON df1.key = df2.key;或SELECT *FROM df1,df2 where df1.key=df2.key

 

pandas中用：

pd.merge(df1, df2, on=‘key‘)

然後就是各種外串連了：

pd.merge(df1, df2, on=‘key‘, how=‘left‘)

 

how變成left/right。全連結outer。

樣本##

#coding=utf-8from pandas import Series,DataFrame,mergeimport numpy as npdata=DataFrame([{"id":0,"name":‘lxh‘,"age":20,"cp":‘lm‘},{"id":1,"name":‘xiao‘,"age":40,"cp":‘ly‘},{"id":2,"name":‘hua‘,"age":4,"cp":‘yry‘},{"id":3,"name":‘be‘,"age":70,"cp":‘old‘}])data1=DataFrame([{"id":100,"name":‘lxh‘,‘cs‘:10},{"id":101,"name":‘xiao‘,‘cs‘:40},{"id":102,"name":‘hua2‘,‘cs‘:50}])data2=DataFrame([{"id":0,"name":‘lxh‘,‘cs‘:10},{"id":101,"name":‘xiao‘,‘cs‘:40},{"id":102,"name":‘hua2‘,‘cs‘:50}])print "單個列名做為內連結的串連鍵\r\n",merge(data,data1,on="name",suffixes=(‘_a‘,‘_b‘))print "多列名做為內連結的串連鍵\r\n",merge(data,data2,on=("name","id"))print ‘不指定on則以兩個DataFrame的列名交集做為串連鍵\r\n‘,merge(data,data2) #這裡使用了id與name#使用右邊的DataFrame的行索引做為串連鍵##設定行索引名稱indexed_data1=data1.set_index("name")print "使用右邊的DataFrame的行索引做為串連鍵\r\n",merge(data,indexed_data1,left_on=‘name‘,right_index=True)print ‘左外串連\r\n‘,merge(data,data1,on="name",how="left",suffixes=(‘_a‘,‘_b‘))print ‘左外串連1\r\n‘,merge(data1,data,on="name",how="left")print ‘右外串連\r\n‘,merge(data,data1,on="name",how="right")data3=DataFrame([{"mid":0,"mname":‘lxh‘,‘cs‘:10},{"mid":101,"mname":‘xiao‘,‘cs‘:40},{"mid":102,"mname":‘hua2‘,‘cs‘:50}])#當左右兩個DataFrame的列名不同，當又想做為串連鍵時可以使用left_on與right_on來指定串連鍵print "使用left_on與right_on來指定列名字不同的串連鍵\r\n",merge(data,data3,left_on=["name","id"],right_on=["mname","mid"])


輸出為：

單個列名做為內連結的串連鍵   age  cp  id_a  name  cs  id_b0   20  lm     0   lxh  10   1001   40  ly     1  xiao  40   101多列名做為內連結的串連鍵   age  cp  id name  cs0   20  lm   0  lxh  10不指定on則以兩個DataFrame的列名交集做為串連鍵   age  cp  id name  cs0   20  lm   0  lxh  10使用右邊的DataFrame的行索引做為串連鍵   age  cp  id_x  name  cs  id_y0   20  lm     0   lxh  10   1001   40  ly     1  xiao  40   101左外串連   age   cp  id_a  name  cs  id_b0   20   lm     0   lxh  10   1001   40   ly     1  xiao  40   1012    4  yry     2   hua NaN   NaN3   70  old     3    be NaN   NaN左外串連1   cs  id_x  name  age   cp  id_y0  10   100   lxh   20   lm     01  40   101  xiao   40   ly     12  50   102  hua2  NaN  NaN   NaN右外串連   age   cp  id_x  name  cs  id_y0   20   lm     0   lxh  10   1001   40   ly     1  xiao  40   1012  NaN  NaN   NaN  hua2  50   102使用left_on與right_on來指定列名字不同的串連鍵   age  cp  id name  cs  mid mname0   20  lm   0  lxh  10    0   lxh

 

join方法提供了一個簡便的方法用於將兩個DataFrame中的不同的列索引合并成為一個DataFrame。

其中參數的意義與merge方法基本相同,只是join方法預設為左外串連how=left。

樣本：

#coding=utf-8from pandas import Series,DataFrame,mergedata=DataFrame([{"id":0,"name":‘lxh‘,"age":20,"cp":‘lm‘},{"id":1,"name":‘xiao‘,"age":40,"cp":‘ly‘},{"id":2,"name":‘hua‘,"age":4,"cp":‘yry‘},{"id":3,"name":‘be‘,"age":70,"cp":‘old‘}],index=[‘a‘,‘b‘,‘c‘,‘d‘])data1=DataFrame([{"sex":0},{"sex":1},{"sex":2}],index=[‘a‘,‘b‘,‘e‘])print ‘使用預設的左串連\r\n‘,data.join(data1)  #這裡可以看出自動屏蔽了data中沒有的index=e 那一行的資料print ‘使用右串連\r\n‘,data.join(data1,how="right") #這裡出自動屏蔽了data1中沒有index=c,d的那行資料；等價於data1.join(data)print ‘使用內串連\r\n‘,data.join(data1,how=‘inner‘)print ‘使用全外串連\r\n‘,data.join(data1,how=‘outer‘)

結果為：

使用預設的左串連   age   cp  id  name  sexa   20   lm   0   lxh    0b   40   ly   1  xiao    1c    4  yry   2   hua  NaNd   70  old   3    be  NaN使用右串連   age   cp  id  name  sexa   20   lm   0   lxh    0b   40   ly   1  xiao    1e  NaN  NaN NaN   NaN    2使用內串連   age  cp  id  name  sexa   20  lm   0   lxh    0b   40  ly   1  xiao    1使用全外串連   age   cp  id  name  sexa   20   lm   0   lxh    0b   40   ly   1  xiao    1c    4  yry   2   hua  NaNd   70  old   3    be  NaNe  NaN  NaN NaN   NaN    2

 

還有一種串連方式：concat

concat方法相當於資料庫中的全串連(UNION ALL),可以指定按某個軸進行串連,也可以指定串連的方式join(outer,inner 只有這兩種)。

與資料庫不同的是concat不會去重，要達到去重的效果可以使用drop_duplicates方法

concat(objs, axis=0, join=‘outer‘, join_axes=None, ignore_index=False,           keys=None, levels=None, names=None, verify_integrity=False, copy=True):

 

 樣本：

#coding=utf-8from pandas import Series,DataFrame,concatdf1 = DataFrame({‘city‘: [‘Chicago‘, ‘San Francisco‘, ‘New York City‘], ‘rank‘: range(1, 4)})df2 = DataFrame({‘city‘: [‘Chicago‘, ‘Boston‘, ‘Los Angeles‘], ‘rank‘: [1, 4, 5]})print ‘按軸進行內串連\r\n‘,concat([df1,df2],join="inner",axis=1)print ‘進行外串連並指定keys(行索引)\r\n‘,concat([df1,df2],keys=[‘a‘,‘b‘]) #這裡有重複的資料print ‘去重後\r\n‘,concat([df1,df2],ignore_index=True).drop_duplicates()

 

 輸出結果為：

按軸進行內串連            city  rank         city  rank0        Chicago     1      Chicago     11  San Francisco     2       Boston     42  New York City     3  Los Angeles     5進行外串連並指定keys(行索引)              city  ranka 0        Chicago     1  1  San Francisco     2  2  New York City     3b 0        Chicago     1  1         Boston     4  2    Los Angeles     5去重後            city  rank0        Chicago     11  San Francisco     22  New York City     34         Boston     45    Los Angeles     5

 

 

 

 

python資料表的合并(python pandas join() 、merge()和concat()的用法)