當前,不動産數(shù)字化建設如火(huǒ)如荼、日新月異,而随之水(shuǐ)漲船(chuán)高(gāo)地是對數(shù)據安全性、完整性和(hé)穩定性的硬性要求。如今,各地市級不動産有(yǒu)關部門(mén)出于對政務網絡和(hé)業務數(shù)據的安全性考慮,開(kāi)始大(dà)力部署“擺渡”數(shù)據的單向安全網閘。同時(shí),源源不斷生(shēng)産的多(duō)源同構數(shù)據也給同步更新工作(zuò)帶來(lái)新的挑戰。在實際工作(zuò)中,不動産業務的數(shù)據同步痛點主要體(tǐ)現在以下三點:
1. 網絡隔離
為(wèi)強化鞏固系統與數(shù)據的安全,确保不動産業務穩健、高(gāo)效、規範地辦理(lǐ),最大(dà)限度防範病毒入侵、DDOS攻擊、非法外聯等網絡安全威脅,不動産信息系統建設者正逐步推進不動産登記系統互聯網、政務外網和(hé)業務內(nèi)網的三網分離工作(zuò)。“三網分離”模式中,不動産登記等業務數(shù)據存儲在政務外網,涉密程度較高(gāo)的權籍等信息持久化存儲在內(nèi)網,內(nèi)外網端間(jiān)通(tōng)過單向網閘來(lái)進行(xíng)數(shù)據流通(tōng),實現數(shù)據安全與數(shù)據管理(lǐ)間(jiān)的平衡。單向安全網閘以物理(lǐ)隔離的方式來(lái)獲得(de)頂流的安全級别,卻也給信息的高(gāo)效互通(tōng)造成一定的影(yǐng)響,如每天同步更新的數(shù)據量減少(shǎo)、數(shù)據同步的實時(shí)性不高(gāo)。
單向網閘
2. 海量數(shù)據
不動産是指依自然性質或者法律的規定在空(kōng)間(jiān)上(shàng)占有(yǒu)固定位置,移動後會(huì)影(yǐng)響其經濟價值的物,包括土地、土地定着物、與土地尚未脫離的土地生(shēng)成物、因自然或者人(rén)力添附于土地并且不能分離的其他物。基于不動産登記相關标準,政府相關部門(mén)正緻力于興建完善不動産登記管理(lǐ)系統,實現土地、房(fáng)屋、林地、草原等統一登記管理(lǐ)。在不動産業務辦理(lǐ)過程中,需要融合聯通(tōng)來(lái)自不同部門(mén)、不同領域、不同區(qū)域的多(duō)源信息,由此産生(shēng)的海量數(shù)據給同步更新工作(zuò)帶來(lái)巨大(dà)壓力。
不動産海量數(shù)據
3. 環境複雜
數(shù)據庫管理(lǐ)系統崩潰、FTP服務器(qì)錯誤、硬件故障等環境因素會(huì)造成數(shù)據采集的實時(shí)性不高(gāo)、數(shù)據的一緻性無法保證、跨網絡邊界交互、成本過高(gāo)等問題。傳統的數(shù)據采集抽取方式大(dà)多(duō)采用創建觸發器(qì)、臨時(shí)表等數(shù)據庫對象的機制(zhì)實現增量數(shù)據的捕獲,或者直接通(tōng)過拷貝磁盤、拷貝流量等方式實現增量數(shù)據捕獲。這些(xiē)原始的方法大(dà)多(duō)治标不治本,在提升數(shù)據同步性能和(hé)容錯等方面收效甚微。
不動産數(shù)據同步系統是由我司自主研發的一款現象級産品,其核心邏輯是基于數(shù)據庫底層操作(zuò)來(lái)完成內(nèi)外網間(jiān)的數(shù)據投遞同步,能夠在“零”影(yǐng)響業務辦理(lǐ)的情況下實現大(dà)規模多(duō)源同構信息的更新交換,旨在為(wèi)現場(chǎng)運維人(rén)員提供優化、适配、定向、專業的數(shù)據同步解決方案。
不動産數(shù)據同步機制(zhì)
不動産數(shù)據庫同步系統
目前市場(chǎng)上(shàng)流通(tōng)的數(shù)據同步工具形形色色、種類繁多(duō),這裏調研對比了幾種應用較為(wèi)廣泛的同步更新産品工具。
相較于以上(shàng)常用的數(shù)據同步工具,我司研發的數(shù)據同步産品具有(yǒu)以下優勢:
◆實時(shí)性好:基于字段級的觸發機制(zhì)來(lái)捕捉數(shù)據更新,極大(dà)降低(dī)了響應延遲;
◆兼容性強:支持并适用異構環境平台、異構數(shù)據庫、遠距離低(dī)帶寬等複雜網絡環境;
◆安全可(kě)靠:數(shù)據的生(shēng)産消費和(hé)同步傳輸運行(xíng)在隔離的線程中,保障了數(shù)據完整性;
◆拓展性強:提供靈活多(duō)樣的系統接口,支持多(duō)種外源插件工具的集成和(hé)接入;
◆維護便利:一鍵安裝、更新和(hé)升級,無需停機斷網,對業務幹擾影(yǐng)響極小(xiǎo);
◆同步時(shí)間(jiān)短(duǎn):在全量更新和(hé)增量更新的雙重模式下,同步更新進程保持在亞秒(miǎo)級;
◆容錯空(kōng)間(jiān)大(dà):數(shù)據同步期間(jiān)的庫表能夠持續備份和(hé)斷點續傳,保證數(shù)據高(gāo)可(kě)用;
◆全程可(kě)視(shì)化:豐富強大(dà)的界面讓數(shù)據同步更新中的每個(gè)環節都公開(kāi)透明(míng)、一覽無餘。
實時(shí)高(gāo)效、安全可(kě)靠的數(shù)據同步是不動産線上(shàng)業務中的一項基礎性工作(zuò)。目前我司開(kāi)發的數(shù)據同步工具立足不動産信息領域,在多(duō)元網絡環境、數(shù)據格式、業務需求、容災恢複等方面實現應用創新和(hé)技(jì)術(shù)突破,并在各地實踐工作(zuò)中有(yǒu)着良好的表現。未來(lái)該數(shù)據同步系統将基于各地不動産網上(shàng)業務辦理(lǐ)中的實際需求,持續完善核心技(jì)術(shù)、優化服務性能,并根據需要植入同步數(shù)據的清洗、聚合、過濾等功能模塊,實現更高(gāo)水(shuǐ)平、更高(gāo)質量、更高(gāo)效能的數(shù)據更新同步。