依托开源技术，中国联通研发CU-DC/OS推进IT综合治理的实践

背景：中国联通作为一个有IT历史背景的公司，和现今其他靠IT驱动的服务业公司一样有一定的历史包袱。由于整个IT系统渐进发展，产生了新老系统并存、资源分散、设备异构、软件环境异构等诸多问题。孤岛式的IT资源和IT能力服务制约了企业转型现代化服务业发展之路。随着云计算出现，一定程度上解决了资源孤岛、共享的问题，但是依然存在物理机资源调度的缺位，且现今虚拟机颗粒度的资源也收到了一定程度的挑战，从业务发展上来说今后的IT资源一定是物理、虚拟、容器（进程级）资源相互并存的。IT业务驱动的企业需要寻找一条IT向I3能力，即创新性、信息化、集成化的IT能力的IT综合治理转型之路。

近年来随着中国联通IT系统的大数据应用的不断上升，联通自身的IT资源在现在大数据应用发展的强大需求下面临极大压力。大数据中心3000余台服务器设备中有77%是纯物理机使用，传统的IT资源管理方式造成了物理集群之间无法共享资源，从而造成有限资源的浪费。联通IT系统集中化进程中，能力开放、服务能力供给侧不足也成为了随之而来的问题。所以，在联通资源共享、服务化、开放化层面，需要一个统一的解决方案。

CU-DCOS发展

因此在2016年4月启动了CU-DCOS项目，旨在解决联通IT治理和能力开放等问题。经过初期的技术方案设计，在验证了多种开源技术和商业化产品后，完成了技术路线的选择，确定了CU-DCOS的基础架构。2016年8月份启动了CU-DCOS平台开发，经过近 6个月的研发和测试，突破了关键技术43项，完成了9大功能、56小功能的门户开发，通过了技术测试和业务测试共59项。在2017年1月推出了CU-DCOS1.0平台。之后在多个业务系统尝试落地使用，并仍在持续进行产品化迭代研发。

现今，CU-DCOS平台已能够面向企业用户提供40余种服务能力，其中包括大数据、数据库、中间件以及技术、应用等服务，已能够面向开发运维流程提供DevOps服务。为中国联通公共创新大数据能力开放平台、中国联通PaaS平台以及中国联通牛人部落实验室提供架构支撑和资源优化，大幅提升IT资源应用效率。

图片描述

CU-DCOS能力平台利用其架构特质，对以下IT环节进行了优化：

低运营成本：用户能够通过共享网络、存储、CPU内存等计算资源，在业务高峰期通过弹性扩容方式有效的应对业务峰值，在业务波谷期将资源分享给其他用户，有效的节约了成本。
简化设备运维：在原有的IT体系中，研发团队既需要维护应用程序，同时还要维护基础设施。在CU-DCOS平台架构中，开发人员面对的将是第三方开发或自定义的API和URL，底层硬件对于开发人员透明化了，技术团队无需再关注运维工作，能够更加专注于应用系统开发。
提升可维护性：微服务应用将调用多种平台的能力服务，组成最终的应用逻辑。目前，例如登陆鉴权服务，云数据库服务等，在安全性、可用性、性能方面都进行了大量优化，通过直接集成平台提供的服务，能够有效的降低开发成本，同时使得应用的运维过程变得更加清晰，有效的提升了应用的可维护性。
更快的开发速度：创新项目由于人员与资金等问题，不可能每个产品线都同时进行，通过CU-DCOS平台，能够很快进行产品开发的速度，把工作重点放在业务实现上，把产品更快的推向市场。

CU-DCOS技术创新

CU-DCOS平台旨在通过新一代的云计算架构——容器技术，解决IT面临的实际问题，完成IT资源的集中管理的新一代平台系统。该平台不仅验证了以容器为基础的PaaS平台从模式、到技术的可行性，同时在行业内首次实现了面向大数据、物理资源弹性调度、多租户管理的“资源+数据+能力“的平台架构，在满足公司数据管控要求前提下，实现了大数据能力的开放。

创新的独立式技术架构：使用Kubernets+Mesos+Docker 的架构模式，集成了该领域领先开源技术，发挥了每个开源模块的先天优势，相较单独开源软件更适用于联通生产业务。在有效管理容器化应用的同时，通过Mesos的框架资源调度功能，解决了物理资源完全按需共享的技术难题。
自动化细粒度扩缩容管理：独创的根据资源使用率阈值自动触发和根据时间周期性触发的自动扩缩容能力，搭配业务量越大占资源越多、无业务不占资源的细粒度资源调度模式，将传统的物理节点业务部署方式转变为容器集群管理模式，根据业务需求“一键式”增减服务节点数量。
资源的统一管理：面向中国联通“两地三中心”的跨地域、跨网络的物理节点，CU-DCOS平台可以实现统一管理调度，各应用能力“按需、按时”自动化资源分配，提高IT资源利用率，降低运营成本。
创新的大数据服务：CU-DCOS团队为了满足对Hadoop生态体系需求，创新性的研发了基于Myriad的自动化多集群多租户的Hadoop框架。经测试性能稳定，支持多种Yarn生态软件如Hive、Spark等，并能够做到计算存储分离，本地计算，细颗粒度调度，资源预留、超售、抢占等计算资源的多元分配方案。
持续集成/持续交付能力：CU-DCOS平台具有的DevOps能力支持快速迭代开发，从源代码到上线全部在系统内流转，当完成迭代上线时，业务应用已经封装为容器镜像并推送到私库，用户可实现不同版本应用的灰度发布，滚动升级。有效降低了业务割接和升级过程中出现的故障率，同时为服务供给侧提供了便捷的研发环境和供给通道。
统一服务网关：以Gateway方式实现统一服务路由功能，针对不同的租户，实现服务能力化，需求差异化，针对不同需求，提供服务发现功能，让应用之间无缝实现业务上下游串联，真正的做到全流程自动化能力部署。同时优化了现有技术大大提高了服务发现和路由转送的流程，缩短了56%的有效响应时间。
多实例持久化存储：CU-DCOS平台提供了多副本、高可用、可共享的分布式存储，为容器增加了持久化存储的能力，解决了容器长期以来有状态部分的问题。在保证数据安全的前提下实现了容器调度的自动化管理，优化了代码保证多个实例都能成功挂载并稳定运行。

落地应用

联通研究院的CU-DCOS平台面向企业内部，已服务支撑以下系统：

支撑了中国联通公共创新大数据能力开放平台，为平台提供底层IT资源的整体调度、集群的动态扩缩容部署、大数据应用的容器化管理和编排以及统一的大数据服务开放等。实现了快速部署、秒级停启各类应用，支持多种大数据服务的集群部署、负载均衡、灾难恢复和弹性伸缩，为公共、专业、创新等各类应用的快速部署提供快速支撑。目前已成为公司开源技术与业务转型相结合的创新型示范项目，相比于传统的分配方式部署时间节省了80%以上，集群间资源利用率之差不超过10%，可靠性大幅度提升。
支撑中国联通PaaS平台的基础架构，支撑整体PaaS平台的资源调度和整合以及容器化封装PaaS能力和编排调度等能力。目前已完成了全部15种PaaS能力的封装，可对外提供服务。PaaS平台上的数十个O域、M域应用已经完成CU-DCOS整体迁移，并且运行稳定。
支撑中国联通牛人部落实验室的基础架构，目前已应用于百余台设备并利用CU－DCOS进行统一的部署和资源调度。实现了大规模集群资源的动态管理、灵活的资源控制策略和应用安装部署。成功搭建了开放式实验环境，满足中国联通IT实验室的需要。

CU-DCOS的投入应用，将以其创新的技术架构，全面支持中国联通实际管理、生产流程，并在中国联通首次实现以物理资源统一管理调度，各应用能力“按需、按时”分配资源，大幅提高IT资源利用率，降低运营成本。

来自开源、走向开源

CU-DCOS项目一路走来，其中的核心技术均来源于开源社区，这也是从技术选型阶段就定下的基调，基于开源技术获得更大成长空间。我们也本着来自开源、走向开源的宗旨，积极与多个开源社区互动，提交过多项提议、代码，在KubeCon和MesosCon进行演讲和演示，与Mesosphere深度合作。并建立了Github项目：https://github.com/chinaunicomRI/。CU-DCOS团队也积极为开源社区贡献一份力量。

作者简介
图片描述
张呈宇：硕士，中国联通研究院工程师，主要从事大数据、云计算IaaS、容器技术等方面的研发工作。

魏进武：博士，副教授/高级工程师，现为中国联通研究院大数据研究中心主任。负责中国联通研发项目50余项。获省部级科技进步一等奖2项，发表学术论文40余篇，获专利20余项。从事的研究领域为大数据、云计算以及电信IT系统的设计及研发等。