随着“雲大(dà)物(wù)移智”等數字化技術和應用的蓬勃發展,國家将依托于數字資(zī)産的“數字經濟”作爲經濟結構轉型的重要手段,提出建設數字中(zhōng)國的戰略。
當前,南(nán)方電網公司緊緊把握第四次工(gōng)業革命的曆史機遇,将數字化作爲公司戰略轉型的重要路徑,重點圍繞數字電網、數字運營和數字能源生(shēng)态三個方向,通過“全要素、全業務、全流程”的數字化轉型,推進“數字南(nán)網”建設,推動公司向智能電網運營商(shāng)、能源産業價值鏈整合商(shāng)、能源生(shēng)态系統服務商(shāng)轉型。
數字經濟蓬勃發展,南(nán)方電網公司如何收全、管好、用精數字電網環境下(xià)産生(shēng)的多源、海量、異構的數據資(zī)源,成爲公司數字化轉型的重要挑戰。
轉型挑戰
在數字技術發展的推動下(xià),社會形态、市場規則都發生(shēng)重大(dà)轉變,數字化轉型已由互聯網科技行業逐步擴展到傳統行業
面臨新一(yī)輪電改等形勢,南(nán)方電網公司亟待進行變革。爲何這一(yī)輪的變革必須依托數字化?其實不難發現,對外(wài),數字化能驅動能源消費市場和産業生(shēng)态的變革;對内,數字化能賦能企業生(shēng)産效率和管理效益的提升;内外(wài)相結合,還能共同催生(shēng)出創新的業務模式,促進能源價值鏈整合。可見,利用數字化技術和思維,不僅能推動能源流、價值流、信息流融合,持續提升公司的信息化、數字化、智能化水平,還能夠爲南(nán)方電網公司“三商(shāng)”轉型戰略落地提供重要支撐。
數據、平台、用戶、應用是南(nán)方電網公司數字化轉型的四大(dà)核心要素。數字電網廣泛運用傳感測量、通信信息等新型技術,将物(wù)理電網的結構、特性等信息進行全面的數字化表征、描述和實現,産生(shēng)了更加豐富的數據類型、更加複雜的數據生(shēng)成模式以及更高的數據消費響應要求,給數據整合利用帶來巨大(dà)的技術挑戰,對南(nán)方電網公司數據中(zhōng)心(以下(xià)簡稱“數據中(zhōng)心”)提出了更高的能力要求:如何切實做到“收全”“管好”“用精”數據,服務公司數字化轉型戰略的有效落地成了亟待解決的關鍵問題。
數據作爲南(nán)方電網公司推動能源鏈、價值鏈和信息鏈融合的“原材料”,作爲加速“三商(shāng)”轉型的“催化劑”,是物(wù)理電網實現孿生(shēng)數字電網的“天然紐帶”。随着業務數字化的程度不斷拓寬加深,将給南(nán)方電網公司帶來更多的數據,同時數據又(yòu)将驅動業務産生(shēng)新的商(shāng)業模式,實現數據和業務的良性互動。南(nán)方電網公司的數據應用體(tǐ)系會随之從單一(yī)的統計報表類分(fēn)析,衍生(shēng)出諸如創新業務流程、智能決策、數據挖掘、數據洞察、用戶自助分(fēn)析等更爲豐富的業務應用類型。而傳統的“旁站式”數據中(zhōng)心主要還是圍繞從源端業務系統采集至數據中(zhōng)心的數據開(kāi)展分(fēn)析型應用,對事務型的業務系統應用實時支撐不足,各業務系統間容易形成技術筒、數據牆,導緻數據融合難度不斷加大(dà)。此外(wài),業務系統“各自爲政”地開(kāi)展數據應用建設,爲南(nán)方電網公司推動公共數據積累和公共數據服務沉澱,實現數據“一(yī)處産生(shēng),多處應用”帶來制約,難以構建公司統一(yī)的數據支撐能力視圖,公司數據中(zhōng)心升級完善就此啓動。
定位升級
推動數據中(zhōng)心從“旁站式”向“底座式”模式轉變,真正實現公司數據層面的無縫融合和業務層面的共享共用
自“十二五”以來,數據中(zhōng)心發展曆經三個階段:在早期“6+1”系統建設階段,搭建企業級數據倉庫,實現了公司總部指标的統計分(fēn)析與展現,支撐公司各業務部門的指标管理要求;在中(zhōng)期大(dà)數據技術初步應用階段,數據中(zhōng)心完成了傳統集中(zhōng)式數據處理架構向分(fēn)布式處理架構的升級,爲全網的統計分(fēn)析需求提供了技術支撐;在當前大(dà)數據技術體(tǐ)系全面建設與發展的數字化轉型階段,公司引入先進技術和成熟組件産品建設“底座式”數據中(zhōng)心,實現了對海量、異構、多頻數據的采集、存儲、計算和分(fēn)析服務。
所謂的“底座式”數據中(zhōng)心,是指以雲數一(yī)體(tǐ)的方式升級公司數據中(zhōng)心,實現數據中(zhōng)心組件自動化部署、資(zī)源彈性化管理、數據模型統一(yī)設計和管控、事務型與分(fēn)析型數據庫一(yī)體(tǐ)化管理、數據服務化供給和數據全鏈路監控的技術特性,切實打通數據壁壘,沉澱公共數據服務,使得公司數據中(zhōng)心成爲公司數字化轉型和數字南(nán)網建設所有平台和應用的統一(yī)基礎數據底座。
作爲南(nán)方電網公司數字化轉型和數字南(nán)網建設的基礎數據底座,數據中(zhōng)心将推動全域數據統一(yī)彙聚、數字電網模型統一(yī)設計、海量數據統一(yī)存儲、大(dà)數據分(fēn)析計算組件統一(yī)支撐,促進數據層面的無縫融合和業務層面的共享共用。對内,實現對各類業務應用提供按需便捷的數據服務,滿足業務模式創新需求,成爲提升管理水平的“倍增器”;對外(wài),實現南(nán)方電網公司與國家、政府、企業間的數據對接,推動共享開(kāi)放(fàng)、合作互利,成爲公司構建能源價值鏈的“連接器”。
能力升級
實現重點技術突破,持續構建和完善大(dà)數據核心工(gōng)具組件,推動數據中(zhōng)心能力升級,爲數字南(nán)網建設賦能
2019年,數據中(zhōng)心根據基礎數據底座的總體(tǐ)定位,通過采購相關成熟工(gōng)具組件開(kāi)展平台功能的建設完善,面向數據采集、建模、存儲、分(fēn)析和服務能力得到了全面加強,爲促進公司大(dà)數據技術與業務的深度融合提供了新的有效的支撐。
在數據采集方面,數據中(zhōng)心作爲南(nán)方電網公司數據統一(yī)彙聚的唯一(yī)平台,數據采集範圍不斷擴展,數據種類日漸豐富。利用OGG日志(zhì)解析技術,數據中(zhōng)心已實現包括全網營銷、資(zī)産、财務、人資(zī)等10個系統的結構化數據全域采集,累計采集數據368.9TB,日均增量0.3TB;通過sftp、kafka等采集技術,已實現對58套調度自動化系統(含OMS)實時數據的秒級采集,并實現了涵蓋五省區電網公司和深圳供電局的計量自動化、配網自動化、氣象、設備在線監測、電能質量、電壓監測、繼電保護及故障信息系統、覆冰、雷電、山火(huǒ)共148套系統實時數據的秒級采集,累計采集數據567TB;此外(wài),數據中(zhōng)心也已完成協同辦公系統、電子商(shāng)務系統、數字檔案館、機巡管理系統中(zhōng)的圖檔、文件、機巡圖片等非結構化數據持續采集,累計采集數據110TB。
在數據模型方面,構建了南(nán)方電網公司統一(yī)數字電網模型基線,爲打通數據關聯、保障數據規範、推動數據高效應用提供了基礎支撐。依據各業務域需求,數據中(zhōng)心開(kāi)展了覆蓋全域的統一(yī)數字電網模型基線版設計,涵蓋發、輸、變、配、用能量全過程,貫穿規劃、采購、運行、檢修供應鏈全環節,2019年累計完成932個模型設計開(kāi)發,爲電網資(zī)源中(zhōng)心、電網管理平台、客戶服務平台等提供了統一(yī)模型支撐。
在數據存儲方面,數據中(zhōng)心采用的數據庫技術門類齊全,支撐的應用場景豐富:利用MPP分(fēn)布式并行存儲(MPP)技術,支撐了公司企業級運管和專業域運管、統計報表和實時指标類數據應用;利用分(fēn)布式列式存儲(HBase)和分(fēn)布式全文搜索技術(Elastic-search),支撐了微信賬單、移動營銷等應用;借助分(fēn)布式結構化存儲技術(Kudu),支撐數字烏當、海南(nán)掌廳等應用;借助實時數據存儲技術,支撐了對時序大(dà)數據的存儲和處理;借助對象存儲技術,實現了對協同辦公系統、電子商(shāng)務系統、數字檔案館、機巡管理系統中(zhōng)的圖檔、文件、機巡圖片等非結構化數據的統一(yī)托管存儲。截至目前,數據中(zhōng)心用于數據存儲的服務器共421台,可用存儲達21.34PB,通過彈性擴容能力逐步承載公司全域數據的存儲需求。
在數據服務組件方面,打造數據中(zhōng)心服務組件層,沉澱公共數據服務,提升數據服務标準化水平和服務敏捷性。2019年,數據中(zhōng)心打造了統一(yī)門戶、數據工(gōng)廠、自助分(fēn)析、數據服務引擎等能力服務,爲數據“原材料”的快速加工(gōng)和有效沉澱提供了支撐,各級員(yuán)工(gōng)可利用一(yī)站式的數據開(kāi)發模塊開(kāi)展數據全流程處理、數據可視化展示、數據自助分(fēn)析等應用,爲加速數據分(fēn)析應用叠代、員(yuán)工(gōng)自主分(fēn)析、内部數據供給提供了能力保障。
在數據安全方面,南(nán)方電網公司構建起關鍵領域和敏感信息“進不來、拿不走、打不開(kāi)、賴不掉”的四道信息安全防線,确保在不影響業務、不降低性能的前提下(xià),對數據中(zhōng)心數據構建了入口加密、出口脫敏、全程審計的數據安全防護能力。在數據加密方面,已完成對生(shēng)産管理區重要數據的加密,消除了明文存儲引起的數據洩露隐患;在數據脫敏方面,已實現測試區所有數據均爲脫敏數據,生(shēng)産區數據可按需進行動态脫敏;在數據審計方面,目前已實現對數據庫操作行爲的全面監測與審計,能夠及時發現非法違規操作并實時告警,也可以做到主動防禦和攻擊留痕,基本達到實時審計、全過程審計和安全問題可追溯的要求。
展望未來
數據中(zhōng)心作爲支撐南(nán)方電網數字化轉型的基礎數據底座,将成爲釋放(fàng)大(dà)數據價值的新引擎
2020年,數據中(zhōng)心将在《大(dà)數據技術與應用發展專項規劃》的總體(tǐ)指導下(xià),以平台升級完善和應用建設爲抓手,數據治理和數據安全保障爲兩翼,完成支撐數字化轉型的基礎數據底座建設,實現全域數據可信彙聚、多元服務按需供給、業務發展全面驅動、數據安全全面保障,進一(yī)步促進大(dà)數據技術與業務深度融合,打造成爲南(nán)方電網公司釋放(fàng)大(dà)數據價值的新引擎。
在南(nán)方電網公司數字化轉型的工(gōng)作部署下(xià),數據中(zhōng)心将繼續從制度标準、數據平台、數據供給、數據管理、數據應用和數據安全六個方面入手推動相關建設:
在制度标準方面,持續完善大(dà)數據領域相關制度标準和技術規範的編制與發布,讓南(nán)方電網公司基礎數據管控工(gōng)作有法可依,有章可循。
在基礎平台方面,開(kāi)展數據中(zhōng)心相關平台與應用有序上雲,實現“雲數一(yī)體(tǐ)”;推動數據湖建設,實現南(nán)方電網公司多源異構數據的統一(yī)彙聚和全面融合,同步支撐分(fēn)析型與事務型業務應用;持續開(kāi)展數據服務化能力建設,爲各類業務平台和數據應用提供敏捷、高效、準确的數據供給;建立數據端到端的全鏈路業務監控,支撐數據多方位監控和分(fēn)析,爲提高數據質量提供支撐。
在數據供給方面,持續拓展數據接入與供給範圍。進一(yī)步提升南(nán)方電網公司對調度、計量、設備狀态監測三大(dà)自動化域的實時數據接入範圍和頻次,同時擴展至物(wù)聯網數據的全面接入;向各業務應用提供更加高效的非結構化數據接入和支撐;結合各單位對外(wài)部數據的需求,統籌開(kāi)展外(wài)部數據的統一(yī)接入和對外(wài)共享服務。
在數據管理方面,完善制度标準并開(kāi)展常态化管控與專項行動,提升對南(nán)方電網公司各類平台和應用建設的數據質量保障。按照“三不”原則,持續開(kāi)展常态化數據強管控工(gōng)作,覆蓋數據标準、數據模型與數據技術路線。組織業務部門和各分(fēn)子公司開(kāi)展進一(yī)步提升南(nán)方電網公司數據質量專項行動。
在數據應用方面,緻力數據服務于南(nán)方電網公司領導層、管理層與基層全覆蓋,“點面結合”開(kāi)展數據應用建設推廣工(gōng)作,全方位釋放(fàng)數據價值。“點”上尋突破,基于公司數據中(zhōng)心算力的提升,選取實時算費、電費複核等典型大(dà)數據應用場景,開(kāi)展大(dà)數據技術與業務的深度融合建設;“面”上重普及,通過自助分(fēn)析工(gōng)具等能力的推廣和深化應用,讓數據供給服務範圍覆蓋“網、省、地、縣”各級員(yuán)工(gōng),切實滿足不同層級對數據的需求。
在數據安全方面,數據中(zhōng)心将按照國家等保2.0中(zhōng)第三級系統的安全防護要求,深化本體(tǐ)安全及數據全生(shēng)命周期安全防護建設。率先完成數據中(zhōng)心同城容災的建設,同步完成異地災備技術路線驗證。
■基層聲音
非結構化數據服務平台上線後,将各單位原本離(lí)散存儲的機巡照片、視頻等非結構化數據集中(zhōng)存儲、管理,爲後續缺陷照片标注、機器學習算法訓練奠定堅實基礎,方便人工(gōng)智能等數字化轉型新技術的深化應用。
——超高壓公司生(shēng)技部專責 簡洪宇
機巡管理系統的圖片、視頻等數據于2019年10月接入到公司數據中(zhōng)心非結構化數據服務平台,大(dà)大(dà)降低了系統存儲壓力,機巡作業人員(yuán)對杆塔、線路、絕緣子等故障點的查詢、統計和分(fēn)析更加快捷便利。
——安徽電網公司生(shēng)技部專責 于榮華
通過實時數據服務平台采集計量自動化、調度自動化等電網實時數據,實現了電量、負荷數據的實時同步,爲提升基層供電所台區線損管理及異常分(fēn)析水平,縮短用戶停電搶修時間,提升供電服務能力提供了關鍵的數據支撐。