簡介

在開發過程中調整模型時，您需要檢查所做的更改是否對模型性能有所改善。只檢查準確度可能不夠。例如，如果您擁有關于某個問題的分類器，并且對于該問題，95% 的實例為陽性，那么您可能只需一直預測陽性即可提高準確度，但您無法擁有一個非常穩健的分類器。

概述

TensorFlow Model Analysis 的目標是為在 TFX 中開展模型評估提供機制。使用 TensorFlow Model Analysis，您可以在 TFX 管道中開展模型評估，并在 Jupyter 筆記本中查看結果指標和圖表。具體來說，它能夠提供：

根據整個訓練過程、預留數據集以及次日評估計算出的指標

指標實時追蹤功能

不同功能切片的模型質量性能

從您的模型中導出 EvalSavedModel

為在 TFX 管道中安裝 TensorFlow Model Analysis，您需要在訓練過程中導出 EvalSavedModel，這是一種特殊的 SavedModel，包含對您模型中指標、功能、標簽等內容的注釋。TensorFlow Model Analysis 使用此 EvalSavedModel 來計算指標。

作為計算過程的一部分，您需要提供一個特殊的 eval_input_receiver_fn，其與 serving_input_receiver_fn 類似，能夠從輸入數據中提取功能和標簽。與使用 serving_input_receiver_fn 一樣，我們會提供效用函數幫助您完成此項操作。大多數情況下，您需要增加少于 20 行的代碼。

在 Jupyter 筆記本中可視化

評估結果在 Jupyter 筆記本中呈現。

評估標簽

界面由三部分組成：

指標選擇器

默認情況下，Jupyter 筆記本會顯示所有計算出的指標，并按字母順序分列展示。指標選擇器使用戶能夠添加 / 移除 / 重新排列指標。您只需在下拉列表中勾選 / 取消選中指標（按住 Ctrl 鍵進行多選）或直接在輸入框中鍵入 / 重新排列指標

時間序列圖表

時間序列圖表使您可以根據數據跨度或模型運行情況輕松發現特定指標的趨勢。如要呈現感興趣指標的圖表，只需在下拉列表中點擊該指標。若要關閉圖表，請點擊右上角的 “X”

將鼠標懸停在圖表中的任意一個數據點，即會出現一個提示框，顯示模型運行情況、數據跨度和指標數值

指標表格

指標表格匯總指標選擇器中選中的所有指標的結果。您可以點擊指標名稱對其進行排序

切分指標標簽

切分指標標簽展示特定評估運行中不同切片的執行方式。請選擇所需配置（評估、功能等）并點擊刷新。

網址會在刷新時更新，并包含一個對所選配置進行編碼的深層鏈接，該鏈接可共享。

界面由三部分組成：

指標選擇器

參見上文

指標可視化

指標可視化旨在為所選功能的切片提供直觀反饋。您可以使用快速過濾功能濾除加權樣本數較小的切片

Jupyter 筆記本支持兩種可視化方式：

切片概覽

在此視圖中，Jupyter 筆記本針對每個切片呈現所選指標的數值，并可根據切片名稱或其他指標數值對切片進行排序。

當切片數量很小時，此為默認視圖。

指標直方圖

在此視圖中，Jupyter 筆記本根據切片的指標數值將其分為不同的存儲分區。每個存儲分區中顯示的數值 value(s) 可能是該存儲分區的切片數量，也可能是總加權樣本數，抑或二者皆有。

點擊齒輪圖標，即可更改存儲分區的數量，并可在設置菜單中應用對數縮放。

您也可以在直方圖視圖中濾除離群值。如下方屏幕截圖所示，只需在直方圖中拖動所需范圍即可。

當切片數量很大時，此為默認視圖。