- 全国政协委员、ICAO前任秘书长、民航局原党组成员柳芳:低空经济发展关键要素之一是应用场景的开发培育仅靠补贴可能缺乏持久性
- 中软高科核心技术获公安部专家组权威认可 筑牢公共安全技术基座
- 济南浪潮申请节点升级专利能否解决分布式存储的升级难题?
- 隆基绿能:分布式光伏能够广泛应用于建筑、交通、农业等多个领域
- 官宣|焱融YRCloudFile发布面向AI推理的分布式KV Cache特性
联系人:王经理
手机:13928851055
电话:13928851055
邮箱:sgbwre@163.com
地址:广州市天河南一街14-16号华信大夏四楼
华为云GaussDB助力统计现代化改革
B助力国家统计局顺利完成第五次全国经济普查(简称“五经普”)单位清查和普查登记数据采集处理工作。在此期间,全国200多万名普查员通过手持终端设备,依托华为云GaussDB对全国范围内的1亿多普查对象进行普查数据采集与处理,为国家宏观经济决策提供了重要基础数据。
“五经普”是一项重要的国情国力调查,肩负着摸清我国经济家底、推动高质量发展的重要任务。国家统计局历时三年建设的统计云技术平台,作为统计云建设工程的关键支撑,在统计数据的采Kaiyun官网中国集、审核、验收及汇总等关键业务场景中,首次在“五经普”实现了大规模的应用。
“五经普”在数据采集方式上进行了革新,通过部署在统计云技术平台上的国家统计局数据采集处理系统直接进行数据填报,在业务高并发、海量数据处理和数据实时性、准确性、一致性等方面,对应用系统提出了更高要求。
作为支撑统计云业务运行的重要基础设施,选择一款合适的数据库至关重要,也并非易事。经过深度市场调研和分析研究,华为云GaussDB在可用性、性能和迁移等方面,能够较好地满足国家统计局业务工作要求。
此外,华为公司与国家统计局有多年合作基础,华为终端、网络、服务器和存储产品已在第三次全国农业普查、第四次全国经济普查、第七次全国人口普查等数据采集处理场景中得到应用。随着GaussDB在统计云工程中的成功应用,更是实现了全局“一朵云”的架构,推动了统计现代化改革发展。
“五经普”采集模式的创新与落地,离不开统计云技术平台的强大资源支撑、多样化的功能调用以及丰富的实践经验。其中,华为云GaussDB数据实时汇集与分析能力,更是支撑统计云平台实现了“一网通办,一云统管”。在“五经普”业务保障过程中,GaussDB主要面临两大挑战:
(一)采集高峰期业务高并发导致系统压力大。“五经普”数据采集处理系统需确保全国200多万普查员、168万“一套表”单位(规模企业)、26万统计机构人员用户能够高效、准确地填报和处理1.2亿普查对象的普查数据。
(二)“五经普”业务逻辑要求在同一段时间内完成数据的填报(写入)和审核验收(读取)操作。“五经普”普查登记数据采集时间是2024年1月1日至4月30日,在此期间,各级统计机构用户需要同步开展数据审核、验收和汇总。系统运行时,压力主要集中在上午9点至12点和下午2点至5点。在实现数据的快速读写(业务的增删改查SQL语句量约为每秒百万条)的同时,系统还需具备强大的数据分析能力,能够完成上万条数据的汇总分析任务,以确保数据的实时性、准确性和一致性。
作为统计云技术平台的有力基础支撑,GaussDB通过分布式技术架构部署与优化策略,确保了数据采集任务的高效执行与精确完成,为统计云技术平台的稳定运行与高效运作提供强力支持。
一是“五经普”数据采集处理系统采用GaussDB分布式多节点(15节点),单库容量最大支撑达到100TB,前期通过在线扩容,实现对业务的最小化影响。
二是借助GaussDB分布式执行框架,根据业务SQL生成最优执行计划,并利用并行执行等技术,使得每秒事务处理数(TPS)轻松突破10万大关,显著提升分布式执行效率。
三是GaussDB多集群节点、线程池和连接池等技术能力,在高并发场景下,可实现毫秒级查询响应,有效应对业务高峰。同时,针对分布式数据库开展了一系列优化,共包括134类慢SQL,有效地降低数据库的运行压力,保障系统的稳定运行。
华为云GaussDB采用采集库与汇总库分离策略,由采集库存储采集数据,然后通过数据复制服务(DRS)将采集数据快捷汇聚到汇总库,以便更加高效的执行汇总任务。在此过程中,DRS支持将其他数据库迁移过来的全量数据,一次性同步至GaussDB中。同时,通过实时解析源库日志,将解析到的增量数据转换为DRS内存存储格式,达到100MB/s的数据处理速度,确保绝大多数情况下的秒级响应时延,从而满足业务对读写分离的需求。
GaussDB高可用、高性能、易迁移等技术能力,保障了统计云圆满完成统计业务工作,为上层统计核心业务系统提供合规保障,确保统计业务的连续性。在“五经普”单位清查数据合并场景中,数据处理耗时从原来的18分钟缩短至2分钟;在“五经普”普查登记数据采集场景中,高峰期单个节点的并发量突破了12000TPS,成功支撑超过30万用户同时在线万笔,峰值查询量达每秒120万次,采集响应时延低于20毫秒。
此外,在完成“五经普”的数据采集任务后,GaussDB还支撑了国家统计局核心业务系统——联网直报系统,为数据的实时上报、高效处理和深度分析提供了坚实的技术支撑。
统计云平台创新成果在中国统计信息化建设史上开创了先河,实现了“多个首次”,全面承载国家统计局的核心业务系统,以数字化转型驱动统计现代化改革。未来,华为云GaussDB将与国家统计局继续携手,共同推动统计高质量发展,以统计现代化更好服务中国式现代化。
文章出处:【微信号:HWS_yunfuwu,微信公众号:华为数字中国】欢迎添加关注!文章转载请注明出处。
平台、数据库、大数据的全栈自主创新能力和在政务领域的持续积淀,获得了国家
水库运行管理矩阵工作部署,以水库运行管理实际业务需求为导向,利用数字孪生、物联网、大数据、
近日,雷曼光电为巴基斯坦University of Wah报告厅打造了大尺寸、高分辨率的雷曼超高清大屏,为学校日常开展课堂授课、学术交流和校园活动等提供强有力的硬件和技术支持,
、提高农业生产效率和质量的重要力量。智慧农业平台集成了物联网、大数据、
,加速软件生产力跃升 /
金融 PaaS 推出的多项关键新特性及重磅升级,赋能金融核心,加速向分布式金融新核心演进。
上创新 /
建设,日前,黄河水文协同创新中心正式成立。黄委有关部门,黄河流域(片)省区水文部门,新疆生产建设兵团水利局,有关高校、科研院所等权威专家及企业代表参加会议。中海达作为黄河水文协同创新中心首批成员之一出席会议。
基础版价格大幅下调(降幅达 60%-70%),且支持全场景数据压缩,具有“超高压缩比”,性能影响仅为 5%-10%,存储成本降低 50%。
的推进,超宽带(UWB)技术正逐渐在农业领域发挥重要作用。UWB模块作为UWB技术的核心组成部分,具有高精度、实时性强的特点,为农业生产提供了新的技术手段和解决方案。本文将
随着医疗技术的不断进步和医院管理要求的日益严格,构建一套高效、稳定、智能的医疗监控系统已成为医院
建设的迫切需求。在这一背景下,讯维融合处理器以其卓越的性能和独特的功能,为医院构建
医疗监控系统 /
MobileNetv2-Yolov3-Nano ARM实时目标检测模型
【ELF 2学习板试用】利用RKNN-Toolkit2实现rknn模型转换
盘古676系列盘古100Pro+开发板(型号MES2L676-100HP)开箱演示视频来啦~~~
【紫光同创盘古PGX-Lite 7K教程】——(盘古PGX-Lite 7K开发板/PGC7KD-6IMBG256第七章)数字钟实验例程
-
2025-03-18中软高科核心技术获公安部专家组权威认可 筑牢公共安全技术基座
-
2025-03-18济南浪潮申请节点升级专利能否解决分布式存储的升级难题?
-
2025-03-18隆基绿能:分布式光伏能够广泛应用于建筑、交通、农业等多个领域
-
2025-03-18官宣|焱融YRCloudFile发布面向AI推理的分布式KV Cache特性
-
2025-03-18苏州元脑智能获分布式系统数据存取专利开启高效数据处理新时代
-
2025-03-18综合能源公司3年(2025年-2027年)分布式光伏屋顶结构安全检测评估招标公告
-
2025-03-18【ISLE 2025】DAV专访巴可数字:看分布式节点如何“玩转”智慧显示未来