在华为开发者大会HDC.Cloud 3月20号直播间,华为网络人工智能数据湖专家周尧,向开发者们正式发布了网络AI领域10大公开数据集,解决了网络AI开发缺乏工业级数据的难题。
这10大数据集是华为从外场仿真数据和实验室模拟数据,经过解析治理、探索标注之后的,可以直接应用于网络领域AI应用开发的数据集。分为“异常检测类”、“控制优化类”、和“故障定界类”三大类:
异常检测类
1)性能指标异常检测数据集:时间序列数据集,包括正样本和负样本,可应用于时序序列预测等算法的训练和验证;样本量100W条,特征维度7维
2)性能指标变更监控测数据集:覆盖4种网络业务变更场景,包括变更成功场景和失败场景,失败场景数据有对应标签;样本量100W条,特征维度40维
3)硬盘故障检测数据集:覆盖日立,希捷共计16款硬盘型号,累积标注坏盘数量超2300块,应用于硬盘故障预测类问题分析与研究;样本量超230W条,特征维度超100维(覆盖厂商公开SMART指标)
控制优化类
4)数据中心群控数据集:包含冷塔、冷机、泵等设备的供回水温度、压力、IT机房、冷站设备能耗100+维特征,可应用于数据中心水冷冷冻水场景制冷系统优化模型训练;样本量2W条,特征维度100维
5)数据中心PUE优化数据集:覆盖3种制冷场景、4种末端空调、冷站群控、IT机房等设备能耗数据,基于冷却系统完成关联,应用于PUE优化、网络领域控制类模型开发与研究;样本量2W条,特征维度110维
故障定界类
6)无线接入故障数据集:覆盖20种无线接入故障类型,告警数据与工单数据相关关联,业务专家团队准确标注,可用于告警压缩和根因定位类模型开发,样本量65w条,特征维度7维
7)无线&IPRAN故障数据集:告警数据基于无线接入和IPRAN的设备拓扑进行关联,利用工单数据完成根因告警标注,覆盖37种故障类型,可用于告警压缩和故障定位,样本量700w+条,特征维度24维
8)无线&PTN故障数据集:告警数据基于无线基站、动力环境、PTN等设备拓扑进行关联,利用工单数据完成根因告警标注,覆盖48种故障类型,可用于告警压缩和故障定位,样本量100w+条,特征维度61维
9)无线&微波故障数据集:告警数据基于无线基站、动力环境、微波等设备拓扑进行关联,利用工单数据完成根因告警标注,覆盖29种故障类型,可用于告警压缩和故障定位,样本量100w+条,特征维度46维
10)PON光路故障数据集:PON光路故障场景数据,包含光纤弯曲、连接器松动等故障场景,覆盖光模块的电压,电流,接收光功率,发送光功率等特征,样本量4w条,特征维度11维
数据和特征决定了机器学习的上限,华为发布网络领域10大数据集,不但可以帮助网络AI开发者减少90%的数据集准备时间,更重要的是将会较高提升AI模型精度。目前已验证数据中心数据集助力AI模型达准确率达到89.77%,无线&IPRAN故障数据集提高高级聚合率到95.4%,查准率到90%。
现在使用华为云账号登录华为云,选择NAIE服务(路径:EI企业智能—智能体—网络智能体 NAIE),再从AI服务目录选择数据集服务,即可进入数据集服务页面选择所需公开数据集。
2020年3月-4月华为开发者大会HDC.Cloud上,华为网络人工智能(NAIE)论坛将在线上直播,欢迎大家关注公众号【网络人工智能园地】,点击菜单【HDC】,接入我们的直播和专家线上探讨交流!(https://www.hwtelcloud.com/externals/hdc-2020?from=singlemessage&isappinstalled=0)。