色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

如何使用TensorFlow Lite從Android設備圖像提取文本

Tensorflowers ? 來源:TensorFlow ? 作者:魏巍 ? 2021-11-02 15:34 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

俗話說:“一圖勝千言”。圖像包含豐富的視覺信息,但有時關鍵信息位于圖像的文本當中。雖然識字的人可以輕松理解圖像中嵌入的文字,但我們如何利用計算機視覺機器學習來教計算機做到這一點呢?

今天,我們將向您展示如何使用 TensorFlow Lite 從 Android 設備上的圖像中提取文本。我們將引導您完成最近開源的光學字符識別 (OCR) Android 參考應用的關鍵步驟,您可參考該處獲取完整代碼。在下方動畫中,可以看到該應用如何從三款 Google 產品徽標圖片中提取產品名稱。

該處

https://github.com/tensorflow/examples/tree/master/lite/examples/optical_character_recognition/android

從圖像中識別文本的過程即為 OCR,該技術在多個領域中廣泛使用。例如,Google 地圖運用 OCR 技術從地理定位圖像中提取信息,進而完善 Google 地圖。

Google 地圖運用 OCR 技術

https://ai.googleblog.com/2017/05/updating-google-maps-with-deep-learning.html

一般來說,OCR 是一個包含多個步驟的流水線。相關步驟通常包含文本檢測和文本識別:

使用文本檢測模型查找文本周圍的邊界框;

執行一些后處理操作,以轉換邊界框;

將這些邊界框內的圖像轉換為灰度圖像,如此一來,文本識別模型便可繪制出文字和數字。

在示例中,我們將利用 TensorFlow Hub 中的文本檢測和文本識別模型。多個不同的模型版本可用來權衡速度/準確率的取舍;我們在此使用的是 float16 量化模型。如需有關模型量化的更多信息,請參閱 TensorFlow Lite 量化文檔。

文本檢測

https://hub.tensorflow.google.cn/sayakpaul/lite-model/east-text-detector/fp16/1

文本識別

https://hub.tensorflow.google.cn/tulasiram58827/lite-model/keras-ocr/float16/2

TensorFlow Lite 量化

https://tensorflow.google.cn/lite/performance/model_optimization

我們還會使用 OpenCV,這是一款廣泛使用的計算機視覺庫,適用于非極大值抑制 (NMS) 和透視變換(我們稍后會對此展開討論),以對檢測結果進行后處理。此外,我們還會使用 TFLite 支持庫對圖像進行灰度和標準化處理。

非極大值抑制

https://www.coursera.org/lecture/convolutional-neural-networks/non-max-suppression-dvrjH

TFLite 支持庫

https://tensorflow.google.cn/lite/inference_with_metadata/lite_support

對于文本檢測,由于檢測模型支持 320x320 的固定像素,我們會使用 TFLite 支持庫調整輸入圖像的大小并對其進行標準化處理:

檢測模型

https://hub.tensorflow.google.cn/sayakpaul/lite-model/east-text-detector/fp16/1

val imageProcessor =

ImageProcessor.Builder().add(ResizeOp(height, width, ResizeOp.ResizeMethod.BILINEAR)).add(NormalizeOp(means, stds)).build()

var tensorImage = TensorImage(DataType.FLOAT32)

tensorImage.load(bitmapIn)

tensorImage = imageProcessor.process(tensorImage)

接下來,我們使用 TFLite 運行檢測模型:

detectionInterpreter.runForMultipleInputsOutputs(detectionInputs, detectionOutputs)

檢測模型的輸出是一些經過旋轉且圖像內包含文本的邊界框。我們會運行非極大值抑制,借助 OpenCV 為每個文本塊確定一個邊界框:

NMSBoxesRotated(

boundingBoxesMat,

detectedConfidencesMat,

detectionConfidenceThreshold.toFloat(),

detectionNMSThreshold.toFloat(),

indicesMat

有些時候,圖像內的文本會出現變形(例如,我的筆記本電腦上的“kubernetes”貼紙),并伴隨一個透視角度:

如果我們只是將原始旋轉邊界框直接“喂”給識別模型,則該模型不太可能正確識別字符。在本例中,我們需要使用 OpenCV 來進行透視變換:

val rotationMatrix = getPerspectiveTransform(srcPtsMat, targetPtsMat)

warpPerspective(

srcBitmapMat,

recognitionBitmapMat,

rotationMatrix,

Size(recognitionImageWidth.toDouble(), recognitionImageHeight.toDouble()))

之后,我們會再次使用 TFLite 支持庫,在邊界框內調整變換圖像的大小,并對其進行灰度和歸一化處理:

val imageProcessor =

ImageProcessor.Builder().add(ResizeOp(height, width, ResizeOp.ResizeMethod.BILINEAR)).add(TransformToGrayscaleOp()).add(NormalizeOp(mean, std)).build()

最后,我們會運行文本識別模型、根據模型輸出繪制出字符與數字,然后更新應用界面:

recognitionInterpreter.run(recognitionTensorImage.buffer, recognitionResult)

var recognizedText = “”for (k in 0 until recognitionModelOutputSize) {

var alphabetIndex = recognitionResult.getInt(k * 8)if(alphabetIndex in 0..alphabets.length - 1)

recognizedText = recognizedText + alphabets[alphabetIndex]}

Log.d(“Recognition result:”, recognizedText)if (recognizedText != “”) {

ocrResults.put(recognizedText, getRandomColor())}

這樣就完成了,就是這么簡單。此時,我們可以在我們的應用中使用 TFLite 來提出輸入圖像中的文本。

最后我想指出的是,如果您只是需要一個即用型 OCR SDK,您可以直接使用 Google ML Kit 的文字識別功能。ML Kit 底層使用了 TFLite,并且對于大多數 OCR 用例而言足矣。在以下情況下,您可以使用 TFLite 來構建專屬 OCR 解決方案:

您有自己想要使用的專屬文本檢測/識別 TFLite 模型;

您有特殊的業務需求(例如識別顛倒的文本),并且需要自定義 OCR 流水線;

您希望支持 ML Kit 沒有覆蓋的語言;

您的目標用戶設備不一定要安裝 Google Play 服務;

您想要控制用于運行模型的硬件后端(CPUGPU 等)。

ML Kit

https://developers.google.cn/ml-kit/vision/text-recognition

Google Play 服務

https://developers.google.cn/android/guides/overview

在這些情況下,我希望本教程和我們的實現示例可以助您開啟在您的應用中構建專屬 OCR 功能的旅程。

責任編輯:haq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 應用
    +關注

    關注

    2

    文章

    439

    瀏覽量

    34533
  • OCR
    OCR
    +關注

    關注

    0

    文章

    161

    瀏覽量

    16815
  • tensorflow
    +關注

    關注

    13

    文章

    330

    瀏覽量

    61216
  • TensorFlow Lite
    +關注

    關注

    0

    文章

    26

    瀏覽量

    750

原文標題:基于 TensorFlow Lite 的 OCR:一款嶄新的示例應用

文章出處:【微信號:tensorflowers,微信公眾號:Tensorflowers】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    如何為 Android 操作系統/設備生成 APK ?

    如何為 Android 操作系統/設備生成 APK ?
    發表于 06-30 07:12

    無法將Tensorflow Lite模型轉換為OpenVINO?格式怎么處理?

    Tensorflow Lite 模型轉換為 OpenVINO? 格式。 遇到的錯誤: FrontEnd API failed with OpConversionFailure:No translator found for TFLite_Detection_PostP
    發表于 06-25 08:27

    無法使用OpenVINO?在 GPU 設備上運行穩定擴散文本圖像的原因?

    在OpenVINO? GPU 設備上使用圖像大小 (1024X576) 運行穩定擴散文本圖像,并收到錯誤消息: RuntimeError: Exception from
    發表于 06-25 06:36

    如何在Android設備上安裝Cyusb3014芯片驅動?

    1.如何在Android設備上安裝Cyusb3014芯片驅動? 我們在 Windows 上有 FX3 驅動程序 SDK。 2.如何在Android系統上下載固件到芯片中?
    發表于 05-15 07:23

    FlexBuild構建Debian 12,在“tflite_ethosu_delegate”上構建失敗了怎么解決?

    /workspace/tn_debian_FlexBuild 構建/components_lsdk2412/apps/ml/tflite/tensorflow/lite/tools/cmake
    發表于 04-01 06:53

    把樹莓派打造成識別文本的“神器”!

    在許多項目中,RaspberryPi被用作監控攝像頭或執行機器學習任務。在這些場景中,圖像中經常包含應用程序感興趣的文本信息。我們希望提取這些信息并將其轉換,以便通過程序分析文本
    的頭像 發表于 03-25 09:30 ?456次閱讀
    把樹莓派打造成識別<b class='flag-5'>文本</b>的“神器”!

    為什么無法將自定義EfficientDet模型TensorFlow 2轉換為中間表示(IR)?

    將自定義 EfficientDet 模型 TensorFlow* 2 轉換 為 IR 時遇到錯誤: [ ERROR ] Exception occurred during running replacer \"REPLACEMENT_ID\" ()
    發表于 03-05 06:29

    EE-300:Blackfin EZ-KIT Lite電路板與CMOS圖像傳感器的接口

    電子發燒友網站提供《EE-300:Blackfin EZ-KIT Lite電路板與CMOS圖像傳感器的接口.pdf》資料免費下載
    發表于 01-05 10:00 ?0次下載
    EE-300:Blackfin EZ-KIT <b class='flag-5'>Lite</b>電路板與CMOS<b class='flag-5'>圖像</b>傳感器的接口

    傅立葉變換在圖像處理中的作用

    ,然后利用低通濾波器濾除高頻噪聲,再通過逆傅里葉變換將圖像轉換回空間域,從而實現圖像的去噪。 增強 :另一方面,圖像的邊緣也是高頻分量。為了增強圖像的邊緣,可以
    的頭像 發表于 12-06 16:55 ?2358次閱讀

    高通AI Hub:輕松實現Android圖像分類

    高通AI Hub為開發者提供了一個強大的平臺,以優化、驗證和部署在Android設備上的機器學習模型。這篇文章將介紹如何使用高通AI Hub進行圖像分類的程式碼開發,并提供一個實際的例子來展示其在
    的頭像 發表于 11-26 01:03 ?960次閱讀
    高通AI Hub:輕松實現<b class='flag-5'>Android</b><b class='flag-5'>圖像</b>分類

    RK3588 技術分享 | 在Android系統中使用NPU實現Yolov5分類檢測

    HIDL實現的librknn_api_android.so。對于需要通過CTS/VTS測試的設備,建議使用后者,而對于不需要測試的設備,直接鏈接librknnrt.so可以提供更好的性能。 在開發板網
    發表于 10-24 10:13

    第四章:在 PC 交叉編譯 aarch64 的 tensorflow 開發環境并測試

    本文介紹了在 PC 端交叉編譯 aarch64 平臺的 tensorflow 庫而非 tensorflow lite 的心酸過程。
    的頭像 發表于 08-25 11:38 ?2734次閱讀
    第四章:在 PC 交叉編譯 aarch64 的 <b class='flag-5'>tensorflow</b> 開發環境并測試

    RK3588 技術分享 | 在Android系統中使用NPU實現Yolov5分類檢測

    HIDL實現的librknn_api_android.so。對于需要通過CTS/VTS測試的設備,建議使用后者,而對于不需要測試的設備,直接鏈接librknnrt.so可以提供更好的性能。 在開發板網
    發表于 08-20 11:13

    丟掉數據線,你還會調試Android設備嗎?

    ADB(AndroidDebugBridge)作為Android開發中非常重要的工具,開發者可以使用ADB設備在電腦上對Android設備
    的頭像 發表于 08-14 17:09 ?761次閱讀
    丟掉數據線,你還會調試<b class='flag-5'>Android</b><b class='flag-5'>設備</b>嗎?

    Linux中cut命令的實用示例

    Linux command cut 用于文本處理。您可以使用此命令通過選擇列文件中提取部分文本
    的頭像 發表于 08-05 15:14 ?744次閱讀
    主站蜘蛛池模板: 在线亚洲专区中文字幕 | 思思99热久久精品在线6 | 成年性生交大片免费看 | 么公一夜要了我一八次视频HD | 国产99视频精品免费播放 | 看全色黄大色大片免费久黄久 | 婷婷射精AV这里只有精品 | 妖精视频免费高清观看 | 欧美一第一页草草影院 | 白丝美女被狂躁免费漫画 | 欧美乱妇狂野欧美在线视频 | 久久精品伊人 | 青青草国拍2018 | 入禽太深免费视频10 | 囚禁固定在调教椅上扩张H 秋霞最新高清无码鲁丝片 秋霞在线看片无码免费 | 国产激情一级毛片久久久 | 翁公与小莹在客厅激情 | 蜜臀AV精品一区二区三区 | 伊伊人成亚洲综合人网 | 青青草A在在观免费线观看 青青草AV国产精品 青青草 久久久 | 亚洲国产精品线在线观看 | 日韩精品 电影一区 亚洲高清 | 中国xxxxxx片免费播放 | 99re久久精品在线播放 | 扒开双腿疯进出爽爽爽动态图 | 99久免费精品视频在线观看2 | 国产在线精彩亚洲 | 99久久全国免费久久爱 | 伊人久久久久久久久香港 | 伦理片飘花手机在线 | 寂寞骚妇女被后入式抽插 | 欧美四虎精品二区免费 | 欧美国产精品久久久乱码 | 精品无码久久久久久国产百度 | 久久爽狠狠添AV激情五月 | 伦理片在线线手机版韩国免费6 | 奇米狠狠一区二区三区 | 国产精品嫩草99AV在线 | 手机在线观看无码日韩视频 | 亚洲一卡二卡三卡四卡2021麻豆 | 小寡妇好紧进去了好大看视频 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品