通信运营商大数据能力开放平台的架构与特点

 通信运营商大数据能力开放平台的架构与特点

                        中国联合网络通信有限公司湖南省分公司 贺英

通信运营商大数据能力开放平台(以下简称能力开放平台)是基于大数据和云计算技术面向政企客户、合作伙伴提供的一款多租户、任务隔离、资源共享、支持多框架的通用服务平台。能力开放顾名思义具备大数据技术可对外开放的能力,且拥有其他互联网开放平台中无法满足的真实业务数据,解决用户有思路,但没资源、没数据的难题。

能力开放平台自身有以下特点:

一、能力开放平台数据框架层提供丰富、多样的大数据计算框架,可满足海量数据批量计算、复杂逻辑关联、流式数据处理、高并发低延迟海量数据查询、消息分发等多种场景,种类随发展需要还在不断增加中。

二、能力开放平台从大数据生产平台上提取脱敏后的样例数据(产品表和标签) 来提供给租户进行相关的训练模型,除此之外租户还可以根据自己的业务需求来制定专属样例数据。

三、能力开放平台为租户提供丰富的生产工具和服务,支撑租户完成生产建设与应用开发和扩展;随着能力建设的深入以及租户业务场景的扩展,未来会有更多的工具和插件集成到能力开放平台中开放服务。

联1

分类

功能

定义

管理及监控

门户

平台的整体展现、与所有功能的可视化申请与操作。

资源监控

所有资源的线上实时监控,及资源预警和通知,实现资源的实时掌控。

日志服务

日志服务实现对能力开放平台上所有产品的日志进行集中管理和准实时搜索、分析,使用搜索、可视化和监控等简单易用的功能

DCOS

为整个数据中心提供分布式调度与资源协调功能,实现数据中心级弹性伸缩能力的软件堆栈

传输与交互

数据服务

可视化展示数据,方便租户查看浏览、获取数据。其中包含客户群匹配,实现样本用户的智能关联及匹配

数据交互

本地文件的便捷、高效的上传。

作业协同

数据模型的安全、智能、便捷的部署到生产环境。

仓库工具

提供种类丰富的工具、软件包、插件等,可在纯净的环境下轻松下载。

应用和部署

微服务

应用可独立地进行开发、管理和加速。在分散的组件中使用微服务云架构和平台,使部署、管理和服务功能交付变得更加简单。

容器云

超轻量级的“虚拟机”,开源的应用容器引擎,启动快、占用资源小,实现应用的快速部署。

API管理

提供标准化API网关服务,支持多租户API的注册、发布、订阅、在线测试、访问验权、监控分析等功能。

APM

 系统即时监控以实现对应用程序性能管理和故障管理的系统化的解决方案。

数据治理

元数据

元数据是对数据仓库中各类数据的定义,其范围覆盖了数据来源、数据采集、数据加工、数据展现等各个环节的业务和技术类的数据。

数据质量

数据质量通过稽核规则验证数据的正确性和有效性,并提高数据使用质量,供决策者参考。

云化ETL

一个完整的企业级数据集成平台,能够完成企业数据集成的所有需求。

 

平台提供资源类型丰富,包括hadoop生态圈的大数据存储和处理框架与技术组件,建模所需的环境、生产所需要的工具等。

平台还提供了丰富的数据内容,包括用户上网行为日志、位置信息、用户信息和行业标签等信息;每个入驻的租户可以利用平台资源和数据服务自由构建自己的业务逻辑和商业模型。

平台搭建在通信运营商内网,通信运营商数据不出门,合作伙伴介入通信运营商平台时,需要通过4A堡垒机,操作痕迹可查可追溯,保障通信运营商数据安全。

平台以多租户的方式进行平台管理运营,各租户之间数据资源共享,硬件、网络、计算资源互不影响,保证各合作伙伴的资源使用稳定及其模型资产安全

能力开放平台的模型训练场景:

租户基于能力平台获取全国样例数据,可结合本地数据进行模型训练,训练后的脚本提交平台反馈至大数据生产服务平台进行加工计算,计算后的结果推送至租户空间,满足租户基于全国数据的分析挖掘。

联2

能力开放平台的应用部署场景:

能力开放平台提供可扩展高性能容器服务,通过Docker引擎实现的基于应用程序的快速部署,让开发者可以打包应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化。

镜像构建:实现应用的编译、测试、打包、发布流程的自动化。

镜像中心:完全托管的Docker容器注册表,轻松存储、管理和部署Docker容器镜像。

服务集成:毫秒级启动容器,高度可扩展高性能容器服务。

集群管理:提供集群的部署、管理和监控一整套解决方案。

能力开放平台的市场分析:

一、各行业数据需求情况

联3

二、租户数据需求金额投入比:

联4

以上由湖南智慧城市网采编,欢迎投稿,欢迎加入湖南智慧城市产业联盟!




 

2019年1月11日 10:55