大唐电力指标数据仓库相关技术研究与实现

Tracyrat

随着操作型数据仓库设计理念的普及，在关系型数据仓库ETL过程中，如何快速、持续地加载数据和快速地进行查询统计已经越来越受到重视。然而在目前的联合物化视图中，一个物化视图是建立在多个基础表之上的，把数据并行加载到这些基础表里的时候就会产生严重的死锁问题。为了解决这个问题，我们建议尽可能地对被加载的数据进行重排序，因为对任何基于多重关系的物化视图而言，某个数据只是按照一个关系进行加载。另外，针对在需要聚合计算关系上的加载，我们采用预计算的方法来减少在装载过程中SQL语句的解析次数。在保存着海量数据的数据仓库中，为了加快查询速度，并给用户提供完整的查询结果，往往会针对分析统计的需求设计一些物化视图，以避开对保存大量最细粒度数据的事实表进行查询。物化视图自身不能实现数据的更新，只能包含创建时刻点以前的数据，这使得物化视图需要自创建时刻起就从基础数据表中不断得到最新的数据。因此需要设计和采用一些辅助手段来帮助物化视图实现和基础表内数据保持同步的功能。在数据仓库中，存在大量的主键、外键和表间的参照完整性约束，而物化视图也正是建立在具有这些键与约束的表上的，因此我们也利用了关系数据库的这些特性，建立了一整套的辅助日志表，这些辅助日志表和物化视图一起实现物化视图的“自我维护”功能。物化视图无须每次都在基础表之上进行完全刷新，只需要按照各个表的变更值就可以进行增量刷新，减少了系统计算压力、提高了统计分析的速度、也减少了数据库系统的颤动。