第1章 智能电网大数据现状及挑战 1
1.1 智能电网 1
1.2 云计算与大数据 2
1.3 智能电网大数据及特点 5
1.3.1 智能电网中的大数据 5
1.3.2 智能电网中大数据的特点 6
1.4 大数据处理技术 8
1.4.1 大数据处理的价值和复杂性 8
1.4.2 并行数据库 9
1.4.3 云计算技术 10
1.4.4 云计算在智能电网中的应用 11
1.5 智能电网大数据机遇与挑战 11
1.5.1 大数据传输及存储技术 11
1.5.2 实时数据处理技术 13
1.5.3 异构多数据源处理技术 14
1.5.4 大数据可视化分析技术 15
1.5.5 流式计算技术 15
1.6 小结 16
第2章 批处理计算模式及其应用 17
2.1 批处理技术 17
2.2 用户短期用电负荷预测技术 19
2.2.1 智能电网的互动特性 19
2.2.2 电力短期负荷预测 20
2.2.3 基于MapReduce的用户短期电力负荷预测技术 21
2.3 绝缘子泄漏电流数据聚类划分技术 22
2.3.1 状态监测数据特点 22
2.3.2 基于数据驱动的状态监测技术 23
2.3.3 状态监测大数据存储技术 24
2.3.4 基于分形维数的密度聚类划分 27
2.3.5 大数据聚类算法及仿真试验 30
2.4 局部放电信号处理的并行EEMD算法 32
2.4.1 局部放电信号处理介绍 32
2.4.2 经验模态分解EMD 33
2.4.3 总体经验模态分解EEMD 34
2.4.4 EEMD去噪 34
2.4.5 基于MapReduce模型的并行化EEMD算法 35
2.4.6 实验研究 43
2.5 小结 50
第3章 智能电网中内存计算高性能数据分析技术及应用 52
3.1 内存计算技术 52
3.2 高性能数据分析 53
3.3 状态监测实时内存计算技术 54
3.3.1 状态监测实时批处理技术 54
3.3.2 实时批处理的Spark技术 54
3.3.3 Spark大数据分析 55
3.4 模糊C均值聚类算法 59
3.4.1 FCM算法 60
3.4.2 Spark上矩阵操作定义 61
3.4.3 Spark-FCM算法 65
3.4.4 实验与实验结果分析 70
3.5 Spark环境下的高性能OLAP分析查询 71
3.5.1 相关背景及工作介绍 71
3.5.2 相关理论知识介绍 72
3.5.3 基于Spark的BUC算法设计及改进 73
3.5.4 实验与实验结果分析 75
3.6 小结 79
第4章 智能电网多源异构数据分析技术 80
4.1 多源异构数据 80
4.2 存储优化研究 81
4.2.1 数据分布优化 81
4.2.2 数据块尺寸调优 83
4.2.3 Hadoop集群网络拓扑规划 84
4.3 并行数据融合算例分析 84
4.3.1 多数据源并行连接查询 84
4.3.2 多通道数据融合特征提取 88
4.3.3 实验与结果分析 90
4.4 多维数据连接技术 93
4.4.1 连接操作 95
4.4.2 多维Bloom Filter 96
4.4.3 基于MDBF的星型连接算法 98
4.4.4 算法分析及性能测试 102
4.5 小结 104
第5章 流式计算技术应对智能电网高速实时数据 105
5.1 流式数据 105
5.1.1 流式计算概述 105
5.1.2 智能电网中的流式数据 106
5.1.3 基于分布式技术的监测大数据可靠接收及其快速分发 107
5.1.4 流式计算在电力系统中的应用 108
5.2 状态监测实时流数据处理技术 110
5.2.1 状态监测流数据 110
5.2.2 Storm流数据处理技术 110
5.2.3 状态监测流数据处理 111
5.3 大规模用电数据流实时聚类技术 113
5.3.1 用电数据流 113
5.3.2 DBSCAN聚类算法 114
5.3.3 流数据上DBSCAN 115
5.3.4 Spark中的流式DBSCAN算法 115
5.4 基于近似熵算法的电网数据特征提取 118
5.4.1 近似熵理论 118
5.4.2 Storm框架下近似熵算法的实现 120
5.5 小结 122
第6章 智能电网大数据全景实时分析平台探索 123
6.1 全景实时分析背景 123
6.2 全景实时分析关键技术问题 125
6.2.1 基于大数据的大电网安全可靠性分析技术 125
6.2.2 基于大数据的输变电设备全寿命周期管理 127
6.2.3 全景实时能源动态平衡调度技术 129
6.3 电力大数据实时分析核心技术 130
6.3.1 主要技术挑战 130
6.3.2 多核／众核并行计算技术 130
6.3.3 列存储技术 132
6.3.4 基于优先级的电力云平台的任务调配 134
6.3.5 大规模流数据可靠接收技术 135
6.4 电力大数据分析平台 136
6.4.1 平台架构 136
6.4.2 平台特色 139
6.5 小结 139
第7章 大数据支撑能源互联网建设 140
7.1 能源互联网 140
7.2 能源互联网中的实时大数据 141
7.3 大数据支撑能源互联网 142
7.3.1 大数据支撑能源互联网整体优化和调度 142
7.3.2 大数据提高能源互联网安全等级 143
第8章 总结与展望 146
8.1 总结 146
8.2 展望 147
参考文献 148