一種基于Spark計算的數(shù)據(jù)質(zhì)量評估方法

打開文本圖片集

[摘要] 本文設(shè)計一種基于Spark離線計算框架的數(shù)據(jù)質(zhì)量評估方法，可以通過自定義劃分?jǐn)?shù)據(jù)集、指定多層級的質(zhì)量計算規(guī)則，以實(shí)現(xiàn)高度自定義的定制化數(shù)據(jù)質(zhì)量評估方法，為業(yè)務(wù)決策、技術(shù)方案優(yōu)化、技術(shù)選型等提供數(shù)據(jù)支持。

[關(guān)鍵詞]離線計算；大數(shù)據(jù)；數(shù)據(jù)質(zhì)量；車聯(lián)網(wǎng)

中圖分類號：U463.6   文獻(xiàn)標(biāo)志碼：A     文章編號：1003—8639（2023）07

A Data Quality Assessment Method Based on SparkComputing

Liang GuoHaoZhu MeiQing，Wei TongMing，Jiang XiangBin，Zhang Liang，

（SAIC GM Wuling Automoblie Co.，Ltd .，Guangxi Laboratory of New Energy Automobile，Guangxi Key Laboratory of Automobile Four New Features，Liuzhou Guangxi，545007，China）

[Abstract]

Keywords： offline computing； big data； data quality； Internet of Vehicles

收稿日期：2022-11-25

作者簡介：梁國豪（1996—），男，助理工程師，研究方向?yàn)榇髷?shù)據(jù)處理、數(shù)據(jù)管理。（剩余3782字）