Estimator提供了大量用于在 TensorFlow 中處理線性模型的工具（以及其他工具）。本文簡要介紹了這些工具，并闡述了以下內(nèi)容：

什么是線性模型

為何要使用線性模型

Estimator 如何使您能夠輕松地在 TensorFlow 中構(gòu)建線性模型

如何使用 Estimator 將線性模型與深度學(xué)習(xí)相結(jié)合，從而汲取二者的優(yōu)勢

您可以閱讀這篇概述文章，判斷 Estimator 的線性模型工具是否對您有用。然后，閱讀Estimator 寬度學(xué)習(xí)和深度學(xué)習(xí)教程（https://github.com/tensorflow/models/tree/master/official/wide_deep），并放手一試。這篇概述文章使用了此教程中的代碼示例，但此教程更詳細(xì)地介紹了代碼。

對基本的機(jī)器學(xué)習(xí)概念以及Estimator有一定了解將有助于理解這篇概述文章。

什么是線性模型？

線性模型使用特征的單個加權(quán)和進(jìn)行預(yù)測。舉例來說，如果您有關(guān)于人口年齡、受教育年數(shù)和每周工作時長的數(shù)據(jù)，那么模型可以學(xué)習(xí)每個數(shù)值的權(quán)重，并通過加權(quán)和估算某個人的薪水。您還可以使用線性模型進(jìn)行分類。

一些線性模型會將加權(quán)和轉(zhuǎn)換為一種更便利的形式。例如，邏輯回歸將加權(quán)和代入邏輯函數(shù)，以將輸出轉(zhuǎn)換為介于 0 和 1 之間的值。不過，每個輸入特征仍然只有一個權(quán)重。

為何要使用線性模型？

近期研究已證實(shí)具有多層的更復(fù)雜神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的功能，為何還要使用如此簡單的模型？

線性模型：

與深度神經(jīng)網(wǎng)絡(luò)相比，訓(xùn)練速度快

可以在非常大的特征集上取得很好的效果

可以使用無需反復(fù)調(diào)整學(xué)習(xí)速率等因素的算法進(jìn)行訓(xùn)練

可以比神經(jīng)網(wǎng)絡(luò)更輕松地進(jìn)行解讀和調(diào)試。您可以檢查分配給每個特征的權(quán)重，確定哪些特征對預(yù)測結(jié)果的影響最大

為理解機(jī)器學(xué)習(xí)提供了一個很好的起點(diǎn)

有廣泛的行業(yè)應(yīng)用

Estimator 如何幫助您構(gòu)建線性模型？

您可以在 TensorFlow 中從頭開始構(gòu)建線性模型，而無需借助于特殊的 API。不過，Estimator 提供了一些工具，使您可以更輕松地構(gòu)建有效的大型線性模型。

特征列和轉(zhuǎn)換

設(shè)計(jì)線性模型的主要操作包括將原始數(shù)據(jù)轉(zhuǎn)換為合適的輸入特征。TensorFlow 使用FeatureColumn抽象類來實(shí)現(xiàn)此類轉(zhuǎn)換。

FeatureColumn表示數(shù)據(jù)中的單個特征。FeatureColumn可能表示 “height” 等數(shù)量，也可能表示 “eye_color” 等類別（值來自一組離散概率，如 {'blue'，'brown'，'green'}）。

對于 “height” 等連續(xù)特征和 “eye_color” 等類別特征，數(shù)據(jù)中的單個值可能先轉(zhuǎn)換為數(shù)字序列，然后再輸入到模型中。盡管如此，您還是可以通過FeatureColumn抽象類將該特征視為單個語義單元進(jìn)行操作。您可以指定轉(zhuǎn)換并選擇要包括的特征，而無需處理饋送到模型的張量中的特定索引。

稀疏列

線性模型中的類別特征通常被轉(zhuǎn)換為稀疏向量，其中每個可能的值都具有對應(yīng)的索引或 ID。例如，如果只有 3 種可能的眼睛顏色，您可以將 “eye_color” 表示為長度為 3 的向量：“brown” 為 [1, 0, 0]，“blue” 為 [0, 1, 0]，而 “green” 為 [0, 0, 1]。這些向量稱為 “稀疏” 向量，因?yàn)楫?dāng)可能值的集合非常大（例如包含所有英文單詞的集合）時，它們可能很長，且包含很多零。

雖然您不需要通過類別列來使用 Estimator 提供的線性模型工具，但是線性模型的優(yōu)勢之一是它們能夠處理大型稀疏向量。稀疏特征是 Estimator 提供的線性模型工具的主要用例。

編碼稀疏列：FeatureColumn自動將類別值轉(zhuǎn)換為向量，具體代碼如下所示：

eye_color = tf.feature_column.categorical_column_with_vocabulary_list( "eye_color", vocabulary_list=["blue", "brown", "green"])

其中eye_color是源數(shù)據(jù)中的一列的名稱。

您還可以為類別特征（您不知道此類特征的所有可能值）生成FeatureColumn。對于這種情況，您將使用categorical_column_with_hash_bucket()，它使用哈希函數(shù)為特征值分配索引。

education = tf.feature_column.categorical_column_with_hash_bucket( "education", hash_bucket_size=1000)

特征組合：由于線性模型為不同的特征分配獨(dú)立權(quán)重，因此它們無法了解特定特征值組合的相對重要性。如果您有 “favorite_sport” 和 “home_city” 這兩個特征，并且您嘗試預(yù)測某人是否喜歡穿紅色，此時線性模型將無法判斷來自圣路易斯的棒球迷是否特別喜歡穿紅色。

您可以通過創(chuàng)建新特征 “favorite_sport_x_home_city” 突破這個限制。對于給定用戶，此特征的值只是兩個源特征的值相連：例如 “baseball_x_stlouis”。這種組合特征稱為特征組合。

使用crossed_column()方法可輕松設(shè)置特征組合：

sport_x_city = tf.feature_column.crossed_column( ["sport", "city"], hash_bucket_size=int(1e4))

連續(xù)列

您可以如下所示地指定連續(xù)特征：

age = tf.feature_column.numeric_column("age")

雖然作為單個實(shí)數(shù)的連續(xù)特征通常可以直接輸入到模型中，但是 TensorFlow 也為此類列提供了有用的轉(zhuǎn)換。

分桶：分桶可將連續(xù)列轉(zhuǎn)換為類別列。此轉(zhuǎn)換使您能夠在特征組合中使用連續(xù)特征，或?qū)W習(xí)特定值范圍特別重要的情況。

分桶將可能的值范圍劃分為子范圍（稱為分桶）：

age_buckets = tf.feature_column.bucketized_column( age, boundaries=[18, 25, 30, 35, 40, 45, 50, 55, 60, 65])

值所在的分桶便是該值的類別標(biāo)簽。

輸入函數(shù)

FeatureColumn為模型提供輸入數(shù)據(jù)規(guī)范，指示如何表示和轉(zhuǎn)換數(shù)據(jù)。但它們本身不提供數(shù)據(jù)。您需要通過輸入函數(shù)提供數(shù)據(jù)。

輸入函數(shù)必須返回一個張量字典。每個鍵對應(yīng)一個FeatureColumn的名稱。每個鍵的值都是一個張量，其中包含該特征針對所有數(shù)據(jù)實(shí)例的值。請參閱預(yù)創(chuàng)建的 Estimator，詳細(xì)了解輸入函數(shù)；另請參閱寬度學(xué)習(xí)和深度學(xué)習(xí)教程中的input_fn，查看輸入函數(shù)的示例實(shí)現(xiàn)。

輸入函數(shù)會傳遞給train()和evaluate()調(diào)用（用于啟動訓(xùn)練和測試操作），如下一部分中所述。

線性 Estimator

TensorFlow Estimator 類為回歸模型和分類模型提供統(tǒng)一的訓(xùn)練和評估工具。它們負(fù)責(zé)訓(xùn)練和評估循環(huán)的細(xì)節(jié)部分，使用戶可以專注于模型輸入和架構(gòu)。

要構(gòu)建線性 Estimator，您可以使用tf.estimator.LinearClassifierEstimator 或tf.estimator.LinearRegressorEstimator

（分別用于分類和回歸）。

與所有 TensorFlow Estimator 一樣，要運(yùn)行 Estimator，只需執(zhí)行以下操作即可：

實(shí)例化 Estimator 類。對于兩個線性 Estimator 類，將FeatureColumn列表傳遞給構(gòu)造函數(shù)

調(diào)用 Estimator 的train()方法以對其進(jìn)行訓(xùn)練

調(diào)用 Estimator 的evaluate()方法以查看其效果

例如：

e = tf.estimator.LinearClassifier( feature_columns=[ native_country, education, occupation, workclass, marital_status, race, age_buckets, education_x_occupation, age_buckets_x_race_x_occupation], model_dir=YOUR_MODEL_DIRECTORY)e.train(input_fn=input_fn_train, steps=200)# Evaluate for one step (one pass through the test data).results = e.evaluate(input_fn=input_fn_test)# Print the stats for the evaluation.for key in sorted(results): print("%s: %s" % (key, results[key]))

寬度學(xué)習(xí)和深度學(xué)習(xí)

tf.estimator模塊還提供一個 Estimator 類，使您能夠一同訓(xùn)練線性模型和深度神經(jīng)網(wǎng)絡(luò)。這種新方法結(jié)合了線性模型 “記憶” 關(guān)鍵特征的能力以及神經(jīng)網(wǎng)絡(luò)的泛化能力。請使用tf.estimator.DNNLinearCombinedClassifier創(chuàng)建這種 “寬度學(xué)習(xí)和深度學(xué)習(xí)” 模型：

e = tf.estimator.DNNLinearCombinedClassifier( model_dir=YOUR_MODEL_DIR, linear_feature_columns=wide_columns, dnn_feature_columns=deep_columns, dnn_hidden_units=[100, 50])