關於Tensorflow中的tf.train.batch函數

來源:互聯網
上載者:User
本篇文章主要介紹了關於Tensorflow中的tf.train.batch函數的使用,現在分享給大家,也給大家做個參考。一起過來看看吧

這兩天一直在看tensorflow中的讀取資料的隊列,說實話,真的是很難懂。也可能我之前沒這方面的經驗吧,最早我都使用的theano,什麼都是自己寫。經過這兩天的文檔以及相關資料,並且請教了國內的師弟。今天算是有點小感受了。簡單的說,就是計算圖是從一個管道中讀取資料的,錄入管道是用的現成的方法,讀取也是。為了保證多線程的時候從一個管道讀取資料不會亂吧,所以這種時候 讀取的時候需要線程管理的相關操作。今天我實驗室了一個簡單的操作,就是給一個有序的資料,看看讀出來是不是有序的,結果發現是有序的,所以直接給代碼:

import tensorflow as tfimport numpy as npdef generate_data():  num = 25  label = np.asarray(range(0, num))  images = np.random.random([num, 5, 5, 3])  print('label size :{}, image size {}'.format(label.shape, images.shape))  return label, imagesdef get_batch_data():  label, images = generate_data()  images = tf.cast(images, tf.float32)  label = tf.cast(label, tf.int32)  input_queue = tf.train.slice_input_producer([images, label], shuffle=False)  image_batch, label_batch = tf.train.batch(input_queue, batch_size=10, num_threads=1, capacity=64)  return image_batch, label_batchimage_batch, label_batch = get_batch_data()with tf.Session() as sess:  coord = tf.train.Coordinator()  threads = tf.train.start_queue_runners(sess, coord)  i = 0  try:    while not coord.should_stop():      image_batch_v, label_batch_v = sess.run([image_batch, label_batch])      i += 1      for j in range(10):        print(image_batch_v.shape, label_batch_v[j])  except tf.errors.OutOfRangeError:    print("done")  finally:    coord.request_stop()  coord.join(threads)

記得那個slice_input_producer方法,預設是要shuffle的哈。

Besides, I would like to comment this code.

1: there is a parameter ‘num_epochs' in slice_input_producer, which controls how many epochs the slice_input_producer method would work. when this method runs the specified epochs, it would report the OutOfRangeRrror. I think it would be useful for our control the training epochs.

2: the output of this method is one single image, we could operate this single image with tensorflow API, such as normalization, crops, and so on, then this single image is feed to batch method, a batch of images for training or testing wouldbe received.

tf.train.batch和tf.train.shuffle_batch的區別用法

tf.train.batch([example, label], batch_size=batch_size, capacity=capacity):[example, label]表示樣本和樣本標籤,這個可以是一個樣本和一個樣本標籤,batch_size是返回的一個batch樣本集的樣本個數。capacity是隊列中的容量。這主要是按順序組合成一個batch

tf.train.shuffle_batch([example, label], batch_size=batch_size, capacity=capacity, min_after_dequeue)。這裡面的參數和上面的一樣的意思。不一樣的是這個參數min_after_dequeue,一定要保證這參數小於capacity參數的值,否則會出錯。這個代表隊列中的元素大於它的時候就輸出亂的順序的batch。也就是說這個函數的輸出結果是一個亂序的樣本排列的batch,不是按照順序排列的。

上面的函數傳回值都是一個batch的樣本和樣本標籤,只是一個是按照順序,另外一個是隨機的

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.