tf.estimator快速入門

TensorFlow的high-level機器學習API(tf.estimator)可以輕鬆配置、訓練和評估各種機器學習模型。在本教程中，您將使用tf.estimator構造一個神經網絡分類器，在iris數據集上進行訓練並根據萼片/花瓣幾何學參數預測花的種類。您將編寫代碼來執行以下五個步驟：

將包含iris訓練/測試數據的CSV加載到TensorFlow中的Dataset
構建一個神經網絡分類器
使用訓練數據訓練模型
評估模型的準確性
分類新樣品

注意：在開始本教程之前，請在你的機器上安裝TensorFlow。

完整的神經網絡源代碼

以下是神經網絡分類器的完整代碼：

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import os
from six.moves.urllib.request import urlopen

import numpy as np
import tensorflow as tf

# Data sets
IRIS_TRAINING = "iris_training.csv"
IRIS_TRAINING_URL = "http://download.tensorflow.org/data/iris_training.csv"

IRIS_TEST = "iris_test.csv"
IRIS_TEST_URL = "http://download.tensorflow.org/data/iris_test.csv"

def main():
  # If the training and test sets aren't stored locally, download them.
  if not os.path.exists(IRIS_TRAINING):
    raw = urlopen(IRIS_TRAINING_URL).read()
    with open(IRIS_TRAINING, "wb") as f:
      f.write(raw)

  if not os.path.exists(IRIS_TEST):
    raw = urlopen(IRIS_TEST_URL).read()
    with open(IRIS_TEST, "wb") as f:
      f.write(raw)

  # Load datasets.
  training_set = tf.contrib.learn.datasets.base.load_csv_with_header(
      filename=IRIS_TRAINING,
      target_dtype=np.int,
      features_dtype=np.float32)
  test_set = tf.contrib.learn.datasets.base.load_csv_with_header(
      filename=IRIS_TEST,
      target_dtype=np.int,
      features_dtype=np.float32)

  # Specify that all features have real-value data
  feature_columns = [tf.feature_column.numeric_column("x", shape=[4])]

  # Build 3 layer DNN with 10, 20, 10 units respectively.
  classifier = tf.estimator.DNNClassifier(feature_columns=feature_columns,
                                          hidden_units=[10, 20, 10],
                                          n_classes=3,
                                          model_dir="/tmp/iris_model")
  # Define the training inputs
  train_input_fn = tf.estimator.inputs.numpy_input_fn(
      x={"x": np.array(training_set.data)},
      y=np.array(training_set.target),
      num_epochs=None,
      shuffle=True)

  # Train model.
  classifier.train(input_fn=train_input_fn, steps=2000)

  # Define the test inputs
  test_input_fn = tf.estimator.inputs.numpy_input_fn(
      x={"x": np.array(test_set.data)},
      y=np.array(test_set.target),
      num_epochs=1,
      shuffle=False)

  # Evaluate accuracy.
  accuracy_score = classifier.evaluate(input_fn=test_input_fn)["accuracy"]

  print("\nTest Accuracy: {0:f}\n".format(accuracy_score))

  # Classify two new flower samples.
  new_samples = np.array(
      [[6.4, 3.2, 4.5, 1.5],
       [5.8, 3.1, 5.0, 1.7]], dtype=np.float32)
  predict_input_fn = tf.estimator.inputs.numpy_input_fn(
      x={"x": new_samples},
      num_epochs=1,
      shuffle=False)

  predictions = list(classifier.predict(input_fn=predict_input_fn))
  predicted_classes = [p["classes"] for p in predictions]

  print(
      "New Samples, Class Predictions:    {}\n"
      .format(predicted_classes))

if __name__ == "__main__":
    main()

以下部分詳細介紹了代碼。

將Iris CSV數據加載到TensorFlow

該iris數據集包含150行數據，包括來自三個相關iris種類的每一類50個樣本：iris setosa，iris virginica，和iris versicolor。

Petal geometry compared for three iris species: Iris setosa, Iris virginica, and Iris versicolor 從左到右，iris setosa(通過Radomil，CC BY-SA 3.0)，iris versicolor(通過Dlanglois，CC BY-SA 3.0)和iris virginica(通過弗蘭克梅菲爾德，CC BY-SA 2.0)。

每行包含每個花樣的以下數據：萼片長度，萼片寬度，花瓣長度，花瓣寬度和花卉種類。花種以整數表示，0表示iris setosa，1表示iris versicolor，2表示iris virginica。

萼片長度	萼片寬度	花瓣長度	花瓣寬度	種類
5.1	3.5	1.4	0.2	0
4.9	3.0	1.4	0.2	0
4.7	3.2	1.3	0.2	0
…	…	…	…	…
7	3.2	4.7	1.4	1
6.4	3.2	4.5	1.5	1
6.9	3.1	4.9	1.5	1
…	…	…	…	…
6.5	3.0	5.2	2.0	2
6.2	3.4	5.4	2.3	2
5.9	3.0	5.1	1.8	2

對於本教程，iris數據已被隨機分成兩個獨立的CSV：

A training set of 120 samples
(iris_training.csv)
A test set of 30 samples
(iris_test.csv).

要開始，首先導入所有必要的模塊，並定義下載和存儲數據集的位置：

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import os
from six.moves.urllib.request import urlopen

import tensorflow as tf
import numpy as np

IRIS_TRAINING = "iris_training.csv"
IRIS_TRAINING_URL = "http://download.tensorflow.org/data/iris_training.csv"

IRIS_TEST = "iris_test.csv"
IRIS_TEST_URL = "http://download.tensorflow.org/data/iris_test.csv"

然後，如果訓練和測試集尚未存儲在本地，則下載它們。

if not os.path.exists(IRIS_TRAINING):
  raw = urlopen(IRIS_TRAINING_URL).read()
  with open(IRIS_TRAINING,'wb') as f:
    f.write(raw)

if not os.path.exists(IRIS_TEST):
  raw = urlopen(IRIS_TEST_URL).read()
  with open(IRIS_TEST,'wb') as f:
    f.write(raw)

接下來，將訓練和測試集加載到Dataset，使用load_csv_with_header()方法learn.datasets.base。load_csv_with_header()方法需要三個必需的參數：

filename，CSV文件路徑
target_dtype，這需要numpy數據類型的數據集的目標值。
features_dtype，這需要numpy數據類型數據集的特征值。

在這裏，目標(你正在訓練模型來預測的值)是花的種類，它是一個0-2的整數，所以適當的numpy數據類型是np.int：

# Load datasets.
training_set = tf.contrib.learn.datasets.base.load_csv_with_header(
    filename=IRIS_TRAINING,
    target_dtype=np.int,
    features_dtype=np.float32)
test_set = tf.contrib.learn.datasets.base.load_csv_with_header(
    filename=IRIS_TEST,
    target_dtype=np.int,
    features_dtype=np.float32)

Dataset在tf.contrib.learn中，是命名元組;您可以通過data和target字段訪問功能數據和目標值。這裏，training_set.data和training_set.target分別包含訓練集的特征數據和目標值test_set.data和test_set.target包含測試集的特征數據和目標值。

之後，在“用DNNClassifier擬合iris訓練數據”你會用training_set.data和training_set.target訓練你的模型，用test_set.data和test_set.target“評估模型的準確性”。

構建深度神經網絡分類器

tf.estimator提供了各種預定義的模型，稱為Estimators，您可以使用“開箱即用”對數據進行訓練和評估操作。在這裏，您將配置深度神經網絡分類器模型以擬合Iris數據。使用tf.estimator，你可以實例化你的tf.estimator.DNNClassifier隻需要幾行代碼：

# Specify that all features have real-value data
feature_columns = [tf.feature_column.numeric_column("x", shape=[4])]

# Build 3 layer DNN with 10, 20, 10 units respectively.
classifier = tf.estimator.DNNClassifier(feature_columns=feature_columns,
                                        hidden_units=[10, 20, 10],
                                        n_classes=3,
                                        model_dir="/tmp/iris_model")

上麵的代碼首先定義模型的特征列，它指定數據集中特征的數據類型。所有的特征數據都是連續的，tf.feature_column.numeric_column是用於構造特征列的適當函數。數據集中有四個特征(萼片寬度，萼片高度，花瓣寬度和花瓣高度)，因此shape必須設置為[4]保存所有數據。

然後，代碼創建一個DNNClassifier模型，使用以下參數：

feature_columns=feature_columns。特征列。
hidden_units=[10, 20, 10]。三隱藏的圖層，分別含有10,20和10個神經元。
n_classes=3。三個目標類，代表三個iris種類。
model_dir=/tmp/iris_model。 TensorFlow將在模型訓練期間保存檢查點數據和TensorBoard摘要的目錄。

描述訓練輸入的pipeline

該tf.estimatorAPI使用輸入函數，這些函數創建生成模型數據的TensorFlow操作。我們可以用tf.estimator.inputs.numpy_input_fn生產輸入管道：

# Define the training inputs
train_input_fn = tf.estimator.inputs.numpy_input_fn(
    x={"x": np.array(training_set.data)},
    y=np.array(training_set.target),
    num_epochs=None,
    shuffle=True)

使用DNNClassifier擬合Iris訓練數據

現在你已經配置了你的DNNclassifier模型，你可以用它來擬合Iris訓練數據，使用train方法。傳入train_input_fn作為input_fn，以及要訓練的步數(這裏是2000)：

# Train model.
classifier.train(input_fn=train_input_fn, steps=2000)

模型的狀態保存在classifier這意味著如果你喜歡，你可以反複訓練。例如，上麵的代買和以下內容相當：

classifier.train(input_fn=train_input_fn, steps=1000)
classifier.train(input_fn=train_input_fn, steps=1000)

但是，如果您想在訓練時跟蹤模型，則可能需要使用TensorFlowSessionRunHook執行日誌記錄操作。

評估模型的準確性

完成模型訓練之後，就可以檢查Iris測試數據的準確性了，使用evaluate方法。跟train一樣，evaluate需要一個輸入函數來建立它的輸入管道。evaluate返回一個dict保存的評估結果。以下代碼將Iris測試數據 – test_set.data和test_set.target傳入evaluate並打印accuracy結果：

# Define the test inputs
test_input_fn = tf.estimator.inputs.numpy_input_fn(
    x={"x": np.array(test_set.data)},
    y=np.array(test_set.target),
    num_epochs=1,
    shuffle=False)

# Evaluate accuracy.
accuracy_score = classifier.evaluate(input_fn=test_input_fn)["accuracy"]

print("\nTest Accuracy: {0:f}\n".format(accuracy_score))

當你運行完整的腳本時，它會打印出一些接近的內容：

Test Accuracy: 0.966667

您的結果準確性可能會有所不同，但應該高於90％。在一個相對較小的數據集上，這個效果已經很不錯了！

分類新樣本

使用估算器predict()方法分類新樣本。例如，假設你有這兩個新的花樣本：

萼片長度	萼片寬度	花瓣長度	花瓣寬度
6.4	3.2	4.5	1.5
5.8	3.1	5	1.7

你可以用predict()方法來預測它們的種類。predict返回一個字符串生成器，它可以很容易地轉換為列表。以下代碼檢索並打印類的預測結果：

# Classify two new flower samples.
new_samples = np.array(
    [[6.4, 3.2, 4.5, 1.5],
     [5.8, 3.1, 5.0, 1.7]], dtype=np.float32)
predict_input_fn = tf.estimator.inputs.numpy_input_fn(
    x={"x": new_samples},
    num_epochs=1,
    shuffle=False)

predictions = list(classifier.predict(input_fn=predict_input_fn))
predicted_classes = [p["classes"] for p in predictions]

print(
    "New Samples, Class Predictions:    {}\n"
    .format(predicted_classes))

你的結果應該如下所示：

New Samples, Class Predictions:    [1 2]

因此模型預測第一個樣本是Iris versicolor，第二個樣本是iris virginica。

其他資源

To learn more about using tf.estimator to create linear models, see
Large-scale Linear Models with TensorFlow.
To build your own Estimator using tf.estimator APIs, check out
Creating Estimators in tf.estimator.
To experiment with neural network modeling and visualization in the browser,
check out Deep Playground.
For more advanced tutorials on neural networks, see
Convolutional Neural Networks and Recurrent Neural
Networks.

參考資料

tf.estimator Quickstart

萼片長度	萼片寬度	花瓣長度	花瓣寬度	種類
5.1	3.5	1.4	0.2	0
4.9	3.0	1.4	0.2	0
4.7	3.2	1.3	0.2	0
…	…	…	…	…
7	3.2	4.7	1.4	1
6.4	3.2	4.5	1.5	1
6.9	3.1	4.9	1.5	1
…	…	…	…	…
6.5	3.0	5.2	2.0	2
6.2	3.4	5.4	2.3	2
5.9	3.0	5.1	1.8	2

萼片長度	萼片寬度	花瓣長度	花瓣寬度	種類
5.1	3.5	1.4	0.2	0
4.9	3.0	1.4	0.2	0
4.7	3.2	1.3	0.2	0
…	…	…	…	…
7	3.2	4.7	1.4	1
6.4	3.2	4.5	1.5	1
6.9	3.1	4.9	1.5	1
…	…	…	…	…
6.5	3.0	5.2	2.0	2
6.2	3.4	5.4	2.3	2
5.9	3.0	5.1	1.8	2

萼片長度	萼片寬度	花瓣長度	花瓣寬度	種類
5.1	3.5	1.4	0.2	0
4.9	3.0	1.4	0.2	0
4.7	3.2	1.3	0.2	0
…	…	…	…	…
7	3.2	4.7	1.4	1
6.4	3.2	4.5	1.5	1
6.9	3.1	4.9	1.5	1
…	…	…	…	…
6.5	3.0	5.2	2.0	2
6.2	3.4	5.4	2.3	2
5.9	3.0	5.1	1.8	2