色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

數據質量問題的分析和改進

茶棚小二a ? 來源:thoughtworks ? 作者:van ? 2022-10-19 19:02 ? 次閱讀

在如今火爆的數智化時代,企業都在利用大數據創新業務、獲得價值;然而,數據能否更好地賦能業務,取決于企業數據質量的好壞。好的數據質量,經過數據分析、挖掘、機器學習等手段,可以更好地輔助業務決策、幫助企業降本增效;差的數據質量,從數據中獲得的價值有限,甚至會誤導做出錯誤的業務決策,從而給企業帶來災難性的后果。

那么,一個企業的數據質量如何,如何評估?常見的數據質量問題都有哪些?這些問題是什么原因造成的?

數據質量評估維度

在評價企業數據質量的好壞時,首先需要定義評估的維度,通常較為重要的數據質量維度有以下6個:

  • 數據唯一性: 是指數據唯一,不存在重復記錄。即:不會出現一物多碼,一碼多物的情況。例如:主鍵唯一性,同一個ID不會重復記錄。
  • 數據完整性: 是指數據在創建、處理流轉過程中無缺失和遺漏,包括實體完整、屬性完整、記錄完整和字段值完整。例如:員工的工號不可為空。
  • 數據準確性: 是指真實、準確地記錄原始數據,無虛假數據及信息。數據要準確反映其所建模的"真實世界"的實體。例如:在業務系統上填寫信息時,手誤輸錯了新車類型信息,造成了數據庫里存在的信息與真實世界不一樣。
  • 數據一致性: 是指數據是否遵循了統一的規范、是否符合邏輯。例如:同一車型所對應的名稱在不同系統中保持一致。
  • 數據及時性: 是指及時記錄和傳遞相關數據,從而滿足業務對信息獲取的時間要求。主要指數據提取要及時、傳送要及時、轉換要及時、加載和展現要及時。
  • 數據有效性: 指數據的值、格式和展現形式符合數據定義和數據業務定義的要求。例如:手機號要符合全球手機號碼編碼規則。

數據質量問題分析原因

從數據的整個生命周期來看,任何一環節都有可能產生數據問題。在數據的采集階段,數據的真實性、準確性、完整性、一致性等會影響數據質量。在數據的加工、存儲階段,也涉及到對數據的修改,也可能引發數據質量問題。所以,業務、技術、管理等多方面的因素都有可能會影響到數據質量。

業務問題

  • 業務需求不清晰

    在業務需求不清晰的情況下,很容易造成由于理解偏差,最終導致結果數據有問題。

  • 需求頻繁變更

    需求一旦變更,其中數據采集、數據處理、數據存儲等環節就可能會受到影響,稍有不慎引入Bug,便造成數據質量問題。

  • 數據填報缺失或不準確

    業務系統側,在數據錄入時,漏填或填錯信息,造成數據的質量問題。

  • 數據作假

    為了提高或降低考核指標,對一些數據進行人為造假,使得數據真實性無法保證。

技術問題

  • 數據庫結構設計問題

    例如:數據庫表結構、數據庫約束條件、數據校驗規則的設計開發不合理,造成數據錄入無法校驗或校驗不當,引起數據重復、不完整、不準確。

  • 數據采集問題

    從業務系統采集過來的數據本身就有一些不完整、重復、不規范,如果沒有清洗、及時糾錯或清洗代碼有Bug,就會造成有質量問題的數據進入。

  • 數據處理問題

    數據在傳遞、數據轉換、數據存儲過程中,任一環節有技術問題,都有可能造成數據質量問題。

  • 各系統孤立開發

    業務系統各自為政,孤立開發,系統之間的數據孤島、數據不一致問題嚴重。

管理問題

企業管理缺乏數據思維, 沒有認識到數據質量的重要性。沒有進行統一數據管理,沒有明確的數據質量目標,也沒有制定數據質量相關的政策和制度等。

數據質量問題改進指導

正如上述所列,造成數據質量差的原因有很多;那么,面對企業數據質量差的問題,如何改進?借鑒PDCA循環(又名戴明環)進行數據質量持續改進,以達最終數據質量目標。

PDCA循環

PDCA是一套“目標管理”流程,通過規劃、執行、檢查、行動四階段,確保每次的目標都能達成。PDCA循環在質量管理中得到廣泛的應用。

PDCA的四個階段:

  • 計劃 PLAN

    先確定數據質量目標,可通過數據質量評估標準為當前企業數據質量進行評估,設定改進目標。 對照目標制定計劃與實施方案。在制定實施方案時,每1項措施要符合5W1H,即:為什么制定該措施?達到什么目標?在何處執行?由誰負責完成?什么時間完成?怎么完成? 比如:一項措施是為企業制定并執行數據標準。

  • 實施 DO

    依據上一步計劃與實施方案進行執行。 比如:制定好數據標準,推廣到各部門執行。eg. 某車企會員類型(企業代碼標準、2位編碼):01 普通卡、02 黃金卡、03 鉆石、04 超級VIP卡;車保險種類代碼(外部代碼標準、4位編碼):10100 交強險、10200 商業車險 等等。

  • 檢查 CHECK

    完成一輪的實施之后,進行檢查,對比當前實際情況與預期目標的差距。

  • 行動 ACT
    對于本輪的經驗和措施形成標準,標準化下來,持續運行,防止質量倒退。 對于沒有達到預期效果,分析原因,制定下一步行動,繼續下一輪的PDCA循環。

所有措施不可能在一個PDCA循環中全部解決,遺留的措施會自動轉進下一個PDCA循環,周而復始,螺旋上升。

改進措施

有了PDCA循環的指引,透過PDCA環高效完成達到目標的所有措施,持續改進數據質量。在制定有效措施方面,始終要遵循:及時發現問題 -> 立即解決問題-> 提前預防問題;因此,歸納改進措施如下。

事前預防
  • 提高全員數據質量意識。加強培訓、Session分享、或出題考試等,通過各種手段培養員工重視數據質量,了解數據對下游所產生的影響。
  • 制定數據規范、數據質量標準、元數據管理等。
  • 建立自動系統,數據輸入控制,防止無效或不準確數據進入系統。
  • 制定正式的變更控制、把關過程,防止正常處理流程之外直接更改數據。
  • 制定相關制度來避免數據問題,如:嚴禁無記錄無跟蹤人為篡改數據。
事中監控

問題發生,及時糾正,最大限度地降低糾正措施成本和風險。

  • 構建日志管理體系,問題及時追蹤處理。
  • 構建數據異常處理機制與告警辦法
  • 創建數據質量監測平臺,自動執行數據質量檢查和審計過程。
  • 問題發生,及時數據修正:程序自動修正、程序自動發現且人工修正。
  • 建立數據質量的流程化控制體系,對數據的采集、加工、存儲等環節進行流程化控制。
事后完善
  • 問題發生解決后,要復盤,完善相應的預防措施、數據規范、數據管理制定與政策等等
  • 定期評估度量,落實行動項,逐步提升數據質量。

寫到這里,想必大家對于數據質量問題的分析與改進有了一定的認識。總之,記住下面這句話:

【首先】數據質量評估 -> 發現問題,

【其次】問題根因分析 -> 分析問題,

【最后】戴明環方法改進 -> 解決問題。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
收藏 人收藏

    評論

    相關推薦

    PCBA加工常見質量問題揭秘:焊接不良與解決方案

    質量問題不僅會影響產品的性能和可靠性,還可能對廠家的聲譽和利潤造成重大影響。本文將深入探討PCBA加工過程中常見的質量問題,并分析其產生的原因及可能的解決方案。 PCBA加工中的常見質量問題
    的頭像 發表于 12-13 09:28 ?93次閱讀

    電能質量分析儀功能特點

    電能質量分析儀功能特點 1. 儀器是專門用于檢測電網中發生波形畸變、諧波含量、三相不平衡等電能質量問題的高精度測試儀器;同時還具備電參量測試、矢量分析的功能。 2. 可精確測量電壓、電流、有功功率
    的頭像 發表于 12-05 11:23 ?101次閱讀

    ?安科瑞電能質量監測系統?直流分量,解決光伏發電諧波、電壓波動問題

    正弦波,但由于各種因素,波形可能會偏離對稱正弦波,導致電能質量問題。安科瑞電能質量監測系統通過監測和分析這些因素,幫助用戶識別和解決電能質量問題?。安科瑞戴婷 187+0616=855
    的頭像 發表于 12-02 16:26 ?141次閱讀
    ?安科瑞電能<b class='flag-5'>質量</b>監測系統?直流分量,解決光伏發電諧波、電壓波動問題

    WP4000變頻功率分析儀對電能質量特征量是如何計算測量的?

    電能質量即電力系統中電能的質量,在現代電力系統中,由于大量的變頻器的使用產生諧波導致的電壓波形畸變,以及電壓暫降、暫升和短時中斷等,都成為很重要的電能質量問題。WP4000變頻功率分析
    的頭像 發表于 11-15 18:37 ?172次閱讀
    WP4000變頻功率<b class='flag-5'>分析</b>儀對電能<b class='flag-5'>質量</b>特征量是如何計算測量的?

    國產芯片為什么質量問題多?

    芯片
    芯廣場
    發布于 :2024年10月31日 18:01:29

    艾體寶干貨 如何使用 IOTA?解決網絡電話(VoIP)質量問題

    本文探討了VoIP(語音通信)質量問題的常見原因,并提供了詳細的故障排除指南。文章首先解釋了VoIP質量問題可能涉及的網絡性能、設備配置、數據包丟失等多個方面。接著,文章使用一個示例使用IOTA
    的頭像 發表于 10-29 09:18 ?184次閱讀
    艾體寶干貨 如何使用 IOTA?解決網絡電話(VoIP)<b class='flag-5'>質量問題</b>

    電子行業PCB失效現狀:改進措施與激光焊錫技術(下)

    本文深入分析了國內印制電路板(PCB)產品的失效現狀,并提出了針對性的改進建議。通過對數百個失效案例的統計分析,我們發現PCB自身質量異常是導致PCBA失效的最主要原因,且這一趨勢在逐
    的頭像 發表于 10-24 11:12 ?217次閱讀
    電子行業PCB失效現狀:<b class='flag-5'>改進</b>措施與激光焊錫技術(下)

    電能質量問題包括哪些現象

    在現代電力系統中,電能質量的優劣直接關系到工業生產效率、設備壽命以及日常生活質量等多個方面。常見的電能質量問題包括電壓波動與閃變、諧波污染以及三相不平衡等。這些問題不僅影響設備的正常運行,還可能導致
    的頭像 發表于 08-30 10:03 ?567次閱讀

    SMT加工中常見的錫膏印刷質量問題有哪些?

    在SMT加工中錫膏印刷的質量也是能夠直接影響到產品整體質量的因素之一,并且在SMT貼片加工中大多焊接缺陷都來自錫膏印刷的質量問題,在高密度高精度的SMT貼片中尤為明顯,常見的錫膏印刷不良主要有少錫
    的頭像 發表于 06-14 15:50 ?590次閱讀
    SMT加工中常見的錫膏印刷<b class='flag-5'>質量問題</b>有哪些?

    WP4000變頻功率分析儀對電能質量特征量是如何計算測量的?

    電能質量 即電力系統中電能的質量,在現代電力系統中,由于大量的變頻器的使用產生諧波導致的電壓波形畸變,以及電壓暫降、暫升和短時中斷等,都成為很重要的電能質量問題。WP4000變頻功率分析
    的頭像 發表于 06-05 09:42 ?515次閱讀
    WP4000變頻功率<b class='flag-5'>分析</b>儀對電能<b class='flag-5'>質量</b>特征量是如何計算測量的?

    淺談多線合用牽引變電所電能質量實測分析

    功率因數、三相電壓不平衡、諧波等電能質量問題,然后基于實測數據對合蚌客專3座牽引變電所電能質量進行了分析。通過分析得出,牽引變電所電能
    的頭像 發表于 04-16 16:39 ?453次閱讀
    淺談多線合用牽引變電所電能<b class='flag-5'>質量</b>實測<b class='flag-5'>分析</b>

    電能質量分析儀功能介紹

    保定聯智電氣的電能質量分析儀器是專門用于檢測電網中發生波形畸變、諧波含量和三相不平衡等電能質量問題的高精度測試儀器;同時還具備電參量測試、諧波判斷、矢量分析、歷史查閱的功能。 電能質量分析
    的頭像 發表于 03-22 08:55 ?488次閱讀

    超載服務電能質量事件案例分析

    電能質量檢測儀MAVOWATT 230可以滿足安全,直觀,靈活地分析電能質量以及功率能耗需求。
    的頭像 發表于 01-24 14:46 ?437次閱讀
    超載服務電能<b class='flag-5'>質量</b>事件案例<b class='flag-5'>分析</b>

    管殼類產品縫焊過程質量問題分析及解決方法

    共讀好書 閆旭冬 李文浩 王雁 ( 中國電子科技集團公司第二研究所) 摘要: 針對微電子管殼類產品的高氣密性封裝,總結了對不同型號產品使用全自動平行縫焊機進行焊接過程中出現的質量問題,并提出了相應
    的頭像 發表于 01-17 17:10 ?439次閱讀
    管殼類產品縫焊過程<b class='flag-5'>質量問題</b><b class='flag-5'>分析</b>及解決方法

    電能質量檢查儀器有哪些類型

    隨著電力系統的發展和電氣設備的廣泛應用,電能質量問題日益凸顯。為了保障電力供應的可靠性和電氣設備的正常運行,人們對電能質量的監測和分析變得越來越重要。而電能質量檢查儀器就成為了這一過程
    的頭像 發表于 12-25 13:29 ?528次閱讀
    電能<b class='flag-5'>質量</b>檢查儀器有哪些類型
    主站蜘蛛池模板: 亚洲人成人毛片无遮挡| 一本道综合久久免费| georgielyall装修工| 精品一区二区三区在线成人 | 国产又粗又猛又爽黄老大爷| 风月宝鉴之淫乱英雄传 电影| 亚洲熟妇色自偷自拍另类| 国产免费69成人精品视频| 欧美人与动牲交A免费| 在线亚洲免费| 国产精品久久久久久52AVAV| 秋霞网在线伦理影片| 99久久免费精品| 美女被强奷到抽搐的动态图| 高清欧美性猛交xxxx黑人猛交| 影音先锋亚洲AV少妇熟女| 亚洲AV无码专区国产精品99| 丰满五十老女人性视频| 翁用力的抽插| 韩国女主播内部vip自带氏巾| av亚洲色天堂2017| 欧美派对xxxhdparty| 不用播放器的黄| 舔1V1高H糙汉| 禁漫H天堂免费A漫| 19十主播福利视频| 欧美最新色p图| 老外的好大c的我好爽| 最新无码国产在线视频9299| 美女靠逼漫画| 俺也去最新地址| 色多多污污下载| 国产欧美一区二区精品性色tv | 2022久久精品国产色蜜蜜麻豆| 精品国产免费人成视频| 儿子好妈妈的HD3中字抢劫| 99热在线免费观看| 538prom国产在线视频一区| 麻豆精品传媒2021网站入口| xiah俊秀| 性生大片免费看|