python指令碼產生caffe train_list.txt的方法

下面為大家分享一篇python指令碼產生caffe train_list.txt的方法，具有很好的參考價值，希望對大家有所協助。一起過來看看吧

首先給出代碼：

import ospath = "/home/data//"path_exp = os.path.expanduser(path)classes = [int(p) for p in os.listdir(path_exp)]classes.sort()# nrof_classes一個資料集下有多少個檔案夾,就是說有多少個人,多少個類別nrof_classes = len(classes)count=0files = open("train_list.txt",'w')filets = open("test_list.txt",'w')count_u=0for i in range(nrof_classes):  class_name = str(classes[i])  count=count+1  count_u=count_u+1  facedir = os.path.join(path_exp, class_name)  prefix1 = path+class_name+"/"  if os.path.isdir(facedir):    images = os.listdir(facedir)    #print(images[0])    image_paths = [(prefix1+img+" "+class_name+"\n") for img in images]    #print(image_paths[0])    if count < 0.8*nrof_classes:      if len(image_paths)>4:        test_path=[]        for x in range(2):          test_path.append(image_paths[0])          del image_paths[0]        filets.writelines(test_path)    files.writelines(image_paths)    #if count==2:    #  break    #imgae_pathses = []    #防止映像大小為0    #for x in image_paths:    #  if os.path.getsize(x)>0:    #    imgae_pathses.append(x)    #if len(imgae_pathses)==0:    #  os.rmdir(facedir)files.close()filets.close()

python下os模組的一下有用的用法：

0 重新命名：檔案和檔案夾都是一個命令：

os.rename(original_dir,new_dir)

1 檔案操作：

os.mknod("test.txt") 建立空檔案
fp = open("test.txt",w) 直接開啟一個檔案，如果檔案不存在則建立檔案

關於open 模式：

w 以寫方式開啟，
a 以追加模式開啟 (從 EOF 開始, 必要時建立新檔案)
r+ 以讀寫入模式開啟
w+ 以讀寫入模式開啟 (參見 w )
a+ 以讀寫入模式開啟 (參見 a )
rb 以二進位讀模式開啟
wb 以二進位寫入模式開啟 (參見 w )
ab 以二進位追加模式開啟 (參見 a )
rb+ 以二進位讀寫入模式開啟 (參見 r+ )
wb+ 以二進位讀寫入模式開啟 (參見 w+ )
ab+ 以二進位讀寫入模式開啟 (參見 a+ )

fp.read([size]) #size為讀取的長度，以byte為單位

fp.readline([size]) #讀一行，如果定義了size，有可能返回的只是一行的一部分

fp.readlines([size]) #把檔案每一行作為一個list的一個成員，並返回這個list。其實它的內部是通過迴圈調用readline()來實現的。如果提供size參數，size是表示讀取內容的總長，也就是說可能唯讀到檔案的一部分。

fp.write(str) #把str寫到檔案中，write()並不會在str後加上一個分行符號

fp.writelines(seq) #把seq的內容全部寫到檔案中(多行一次性寫入)。這個函數也只是忠實地寫入，不會在每行後面加上任何東西。

fp.close() #關閉檔案。python會在一個檔案不用後自動關閉檔案，不過這一功能沒有保證，最好還是養成自己關閉的習慣。 如果一個檔案在關閉後還對其進行操作會產生ValueError

fp.flush() #把緩衝區的內容寫入硬碟

fp.fileno() #返回一個長整型的”檔案標籤“

fp.isatty() #檔案是否是一個終端裝置檔案（unix系統中的）

fp.tell() #返迴文件操作標記的當前位置，以檔案的開頭為原點

fp.next() #返回下一行，並將檔案操作標記位移到下一行。把一個file用於for … in file這樣的語句時，就是調用next()函數來實現遍曆的。

fp.seek(offset[,whence]) #將檔案打操作標記移到offset的位置。這個offset一般是相對於檔案的開頭來計算的，一般為正數。但如果提供了whence參數就不一定了，whence可以為0表示從頭開始計算，1表示以當前位置為原點計算。2表示以檔案末尾為原點進行計算。需要注意，如果檔案以a或a+的模式開啟，每次進行寫操作時，檔案操作標記會自動返回到檔案末尾。

fp.truncate([size]) #把檔案裁成規定的大小，預設的是裁到當前檔案操作標記的位置。如果size比檔案的大小還要大，依據系統的不同可能是不改變檔案，也可能是用0把檔案補到相應的大小，也可能是以一些隨機的內容加上去。

也可以直接開啟式的建立檔案：

  with open('path0.txt','ab') as f:    for d in arr:      np.savetxt(f,d,fmt='%5f')

path0.txt將直接在python指令碼所在目錄建立

arr是shape是height x width x channel的numpy數組，注意，這裡這麼寫是因為numpy一次只能夠儲存一個height x width維度資料

2 建立、刪除檔案夾

建立：os.makedirs()

比如windows下建立E:\\dir\\subdir\\

os.makedirs('E:\\dir\\subdir\\') 或者 os.makedirs('E:/dir/subdir/')

ubuntu下建立就是os.makedirs('/home/dir/subdir/')

複製檔案：

shutil.copyfile("oldfile","newfile") oldfile和newfile都只能是檔案
shutil.copy("oldfile","newfile")oldfile只能是檔案夾，newfile可以是檔案，也可以是目標目錄

複製檔案夾：

shutil.copytree("olddir","newdir")olddir和newdir都只能是目錄，且newdir必須不存在

重新命名檔案（目錄）

os.rename("oldname","newname") 檔案或目錄都是使用這條命令

移動檔案（目錄）

shutil.move("oldpos","newpos")

刪除檔案

os.remove("file")

刪除目錄

os.rmdir("dir")只能刪除空目錄
shutil.rmtree("dir")空目錄、有內容的目錄都可以刪

轉換目錄

os.chdir("path") 換路徑

擷取檔案大小：os.path.getsize（filename）

3 需要注意的是，在ubuntu下有可能路徑包括~，因此需要展開，展開使用：

path_exp = os.path.expanduser(nam)

4 還有一種情況，路徑相連，需要將一級一級的目錄串連起來，os會自動處理層級目錄之間的/,比如，將目錄/home 和 資料 1之間串連起來：

os.path.join('/home', str(1))，

後面也可以為檔案名稱，是一樣的用法

5 路徑存在:用於判斷目錄是否存在

a = os.path.exists(dir)

存在返回True，否則False

6 擷取目錄列表，就是給出的目錄下的檔案或目錄列表：

classes = os.listdir(path_exp)

獲得的是path_exp下的所有檔案的列表，包含目錄和檔案，

os.path.dirname(path) #返迴文件路徑，或者是給定路徑去掉最後一個目錄後的路徑，

還有一種使用方式是用在檔案中：

os.path.dirname(__file__)用於擷取所在檔案的路徑

7 運行shell命令: os.system()：

ubuntu下：os.system(‘pwd')

Python指令碼工作的目錄路徑: os.getcwd()

讀取和設定環境變數:os.getenv() 與os.putenv()

給出當前平台使用的行終止符:os.linesep Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'

指示你正在使用的平台：os.name 對於Windows，它是'nt'，而對於Linux/Unix使用者，它是'posix'

建立多級目錄：os.makedirs（r“c：\python\test”）

建立單個目錄：os.mkdir（“test”）

擷取檔案屬性：os.stat（file）

修改檔案許可權與時間戳記：os.chmod（file）

終止當前進程：os.exit（）

更全面的os.path用法：

os.path.abspath(path) #返回絕對路徑
os.path.basename(path) #返迴文件名

os.path.basename(‘E:a\b\c.jpg')

'c.jpg'

os.path.commonprefix(list) #返回list(多個路徑)中，所有path共有的最長的路徑。
os.path.dirname(path) #返迴文件路徑
os.path.exists(path) #路徑存在則返回True,路徑損壞返回False
os.path.lexists #路徑存在則返回True,路徑損壞也返回True
os.path.expanduser(path) #把path中包含的"~"和"~user"轉換成使用者目錄
os.path.expandvars(path) #根據環境變數的值替換path中包含的”$name”和”${name}”
os.path.getatime(path) #返回最後一次進入此path的時間。
os.path.getmtime(path) #返回在此path下最後一次修改的時間。
os.path.getctime(path) #返回path的大小
os.path.getsize(path) #返迴文件大小，如果檔案不存在就返回錯誤
os.path.isabs(path) #判斷是否為絕對路徑
os.path.isfile(path) #判斷路徑是否為檔案
os.path.isdir(path) #判斷路徑是否為目錄
os.path.islink(path) #判斷路徑是否為連結
os.path.ismount(path) #判斷路徑是否為掛載點（）
os.path.join(path1[, path2[, ...]]) #把目錄和檔案名稱合成一個路徑
os.path.normcase(path) #轉換path的大小寫和斜杠
os.path.normpath(path) #規範path字串形式
os.path.realpath(path) #返回path的真實路徑
os.path.relpath(path[, start]) #從start開始計算相對路徑
os.path.samefile(path1, path2) #判斷目錄或檔案是否相同
os.path.sameopenfile(fp1, fp2) #判斷fp1和fp2是否指向同一檔案
os.path.samestat(stat1, stat2) #判斷stat tuple stat1和stat2是否指向同一個檔案

os.path.split(path) #把路徑分割成dirname和basename，返回一個元組：
os.path.split(‘E:a\b\c.jpg')

'E:\\a\\b','c.jpg'
os.path.splitdrive(path) #一般用在windows下，返回磁碟機名和路徑組成的元組
os.path.splitext(path) #分割路徑，返迴路徑名和副檔名的元組

os.path.split(‘E:a\b\c.jpg')

'E:\\a\\b\\c','.jpg'

os.path.splitunc(path) #把路徑分割為載入點與檔案
os.path.walk(path, visit, arg) #遍曆path，進入每個目錄都調用visit函數，visit函數必須有

3個參數(arg, dirname, names)，dirname表示目前的目錄的目錄名，names代表目前的目錄下的所有
檔案名稱，args則為walk的第三個參數

os.path.supports_unicode_filenames #設定是否支援unicode路徑名