簡(jiǎn)介

在開(kāi)發(fā)過(guò)程中調(diào)整模型時(shí)，您需要檢查所做的更改是否對(duì)模型性能有所改善。只檢查準(zhǔn)確度可能不夠。例如，如果您擁有關(guān)于某個(gè)問(wèn)題的分類(lèi)器，并且對(duì)于該問(wèn)題，95% 的實(shí)例為陽(yáng)性，那么您可能只需一直預(yù)測(cè)陽(yáng)性即可提高準(zhǔn)確度，但您無(wú)法擁有一個(gè)非常穩(wěn)健的分類(lèi)器。

概述

TensorFlow Model Analysis 的目標(biāo)是為在 TFX 中開(kāi)展模型評(píng)估提供機(jī)制。使用 TensorFlow Model Analysis，您可以在 TFX 管道中開(kāi)展模型評(píng)估，并在 Jupyter 筆記本中查看結(jié)果指標(biāo)和圖表。具體來(lái)說(shuō)，它能夠提供：

根據(jù)整個(gè)訓(xùn)練過(guò)程、預(yù)留數(shù)據(jù)集以及次日評(píng)估計(jì)算出的指標(biāo)

指標(biāo)實(shí)時(shí)追蹤功能

不同功能切片的模型質(zhì)量性能

從您的模型中導(dǎo)出 EvalSavedModel

為在 TFX 管道中安裝 TensorFlow Model Analysis，您需要在訓(xùn)練過(guò)程中導(dǎo)出 EvalSavedModel，這是一種特殊的 SavedModel，包含對(duì)您模型中指標(biāo)、功能、標(biāo)簽等內(nèi)容的注釋。TensorFlow Model Analysis 使用此 EvalSavedModel 來(lái)計(jì)算指標(biāo)。

作為計(jì)算過(guò)程的一部分，您需要提供一個(gè)特殊的 eval_input_receiver_fn，其與 serving_input_receiver_fn 類(lèi)似，能夠從輸入數(shù)據(jù)中提取功能和標(biāo)簽。與使用 serving_input_receiver_fn 一樣，我們會(huì)提供效用函數(shù)幫助您完成此項(xiàng)操作。大多數(shù)情況下，您需要增加少于 20 行的代碼。

在 Jupyter 筆記本中可視化

評(píng)估結(jié)果在 Jupyter 筆記本中呈現(xiàn)。

評(píng)估標(biāo)簽

界面由三部分組成：

指標(biāo)選擇器

默認(rèn)情況下，Jupyter 筆記本會(huì)顯示所有計(jì)算出的指標(biāo)，并按字母順序分列展示。指標(biāo)選擇器使用戶(hù)能夠添加 / 移除 / 重新排列指標(biāo)。您只需在下拉列表中勾選 / 取消選中指標(biāo)（按住 Ctrl 鍵進(jìn)行多選）或直接在輸入框中鍵入 / 重新排列指標(biāo)

時(shí)間序列圖表

時(shí)間序列圖表使您可以根據(jù)數(shù)據(jù)跨度或模型運(yùn)行情況輕松發(fā)現(xiàn)特定指標(biāo)的趨勢(shì)。如要呈現(xiàn)感興趣指標(biāo)的圖表，只需在下拉列表中點(diǎn)擊該指標(biāo)。若要關(guān)閉圖表，請(qǐng)點(diǎn)擊右上角的 “X”

將鼠標(biāo)懸停在圖表中的任意一個(gè)數(shù)據(jù)點(diǎn)，即會(huì)出現(xiàn)一個(gè)提示框，顯示模型運(yùn)行情況、數(shù)據(jù)跨度和指標(biāo)數(shù)值

指標(biāo)表格

指標(biāo)表格匯總指標(biāo)選擇器中選中的所有指標(biāo)的結(jié)果。您可以點(diǎn)擊指標(biāo)名稱(chēng)對(duì)其進(jìn)行排序

切分指標(biāo)標(biāo)簽

切分指標(biāo)標(biāo)簽展示特定評(píng)估運(yùn)行中不同切片的執(zhí)行方式。請(qǐng)選擇所需配置（評(píng)估、功能等）并點(diǎn)擊刷新。

網(wǎng)址會(huì)在刷新時(shí)更新，并包含一個(gè)對(duì)所選配置進(jìn)行編碼的深層鏈接，該鏈接可共享。

界面由三部分組成：

指標(biāo)選擇器

參見(jiàn)上文

指標(biāo)可視化

指標(biāo)可視化旨在為所選功能的切片提供直觀反饋。您可以使用快速過(guò)濾功能濾除加權(quán)樣本數(shù)較小的切片

Jupyter 筆記本支持兩種可視化方式：

切片概覽

在此視圖中，Jupyter 筆記本針對(duì)每個(gè)切片呈現(xiàn)所選指標(biāo)的數(shù)值，并可根據(jù)切片名稱(chēng)或其他指標(biāo)數(shù)值對(duì)切片進(jìn)行排序。

當(dāng)切片數(shù)量很小時(shí)，此為默認(rèn)視圖。

指標(biāo)直方圖

在此視圖中，Jupyter 筆記本根據(jù)切片的指標(biāo)數(shù)值將其分為不同的存儲(chǔ)分區(qū)。每個(gè)存儲(chǔ)分區(qū)中顯示的數(shù)值 value(s) 可能是該存儲(chǔ)分區(qū)的切片數(shù)量，也可能是總加權(quán)樣本數(shù)，抑或二者皆有。

點(diǎn)擊齒輪圖標(biāo)，即可更改存儲(chǔ)分區(qū)的數(shù)量，并可在設(shè)置菜單中應(yīng)用對(duì)數(shù)縮放。

您也可以在直方圖視圖中濾除離群值。如下方屏幕截圖所示，只需在直方圖中拖動(dòng)所需范圍即可。

當(dāng)切片數(shù)量很大時(shí)，此為默認(rèn)視圖。