全球即时看!磐舟磐基平台:基于KubeEdge的落地实践
博客园 2023-06-26 12:13:16
摘要:实现统一管理、简化多集群的运维系统、减少运营成本;同时也成功将前面提到的500台鲲鹏服务器以及它上面的BC Linux for Euler集群纳入磐基PaaS平台的大家庭之中,运维效率大幅增加。

本文分享自华为云社区《中国移动:磐舟磐基平台 基于KubeEdge的落地实践》,作者:中国移动磐舟磐基团队 & 华为iSula团队 & CNCF KubeEdge团队。

磐舟一体化云交付平台是中国移动自主研发的面向开发人员的代码开发,自动部署的平台。磐舟一体化交付平台自研实现了一套GitOps驱动引擎,支持从需求设计、开发构建、测试部署的全部开发与运维功能需求,实现应用一键上磐基容器云平台。

磐基容器云平台是中国移动信息公司基于Kubernetes构建的企业级PaaS解决方案,实现Kubernetes能力的标准化封装及调用,包括提供开发和运行环境、资源弹性伸缩、精细化微服务管理、便捷一站式服务、跨地域多集群调度和智能监控维护等六大能力。


【资料图】

磐舟和磐基是相互配合的,开发人员在磐舟集群上开发,部署到磐基PaaS集群上运行应用,也支持在磐舟上归档磐基集群ops配置,通过GitOps来管理、部署磐基集群。

随着国产化进程推进,中国移动建设了大量的国产化服务器集群,磐基磐舟如何实现国产化的容器云开发交付一体化体系?在某资源池我们需要统一管理近500台鲲鹏服务器,源码可以通过磐舟统一编译为X86/ARM双架构的镜像,但是集群的管理也需要实现ARM自动化支持,开发交付环节频繁使用Kubernetes集群,最近2个月已有800多次的集群创建回收动作,人工支撑显然已经跟不上云原生的发展速度了。

另一个场景是,移动的开发人员在集团磐舟Kubernetes集群上进行开发,制作好镜像后,不能直接推送到省测公司的Kubernetes集群,需要运维人员在磐基中心集群上通过多级ssh跳板机,手工登录到省公司磐基K8s集群进行部署。这一步没有实现自动化,操作流程十分繁琐。

想解决这些问题,我们进行了一些尝试:

首先是考虑是否可以将集群统一?答案显然是不行。因为集团k8s集群,由于业务不同,不能和省公司的k8s集群合为一体。

那么是否可以做k8s的集群联邦?目前集团集群与省公司集群之间可能是比较远的(跨省),集群联邦的整体消耗会大一些,并且目前跳板机的场景,跳到省公司集群一台机器上就够了,不需要看到省公司的所有机器。

维持ssh现状,维护shell脚本?shell脚本需要人力维护,在省公司的节点逻辑很可能需要使用service来完整,继续维护shell,第一不是那么CloudNative,第二也背离了磐基磐舟轻松上云的初衷。

本着达到灵活、易用,提升集群部署时效,解决端到端开发运维效率,成就内部客户的目的,我们针对整体场景做了进一步抽象,抽象成“1+31+N”的典型网络模型。

1个中心+“31+N”个边缘集群的场景,中心与集群、集群与集群,集群与N之间,存在着网络隔离与网络不可预知的情况;在这些集群之间,保持网络隔离的情况下,在中心节点做到云原生体验的自动化运维,做到GitOps自动化。

带着抽象之后的这个模型,我们在平台管理上进行了深入调研,最终选用了CNCF的云原生边缘计算项目KubeEdge来解决完成以上所有集群的统一管理。

KubeEdge是什么?解决什么问题?

KubeEdge的特点是在云边通信的资源消耗小,使用方式基于Kubernetes,上手方便,比较适合我们当前的场景。KubeEdge项目是华为云开源的一个基于Kubernetes的开放平台,并为网络应用提供基础架构支持,提供云和边缘之间的部署和元数据同步。KubeEdge具有以下几点关键优势:

容器化应用封装

» Build once, run anywhere

» 轻量化基础镜像,降低资源占用

通用的应用抽象、定义

» 业界事实标准

» 云上、边缘统一管理

松耦合的架构

» 易扩展的API框架

» 易于定制平台组件

磐舟磐基平台的KubeEdge实践

通过对KubeEdge的应用场景分析,以及对移动内部1+31+N模型结合,我们可以将集团的“1”想象为KubeEdge的CloudCore节点、将各省公司的node节点想象为EdgeCore节点,从而就实现了1+31+N下的云边协同模型。映射到我们的具体场景是这样:

»集群业务部署场景:把集团的K8s master节点作为KubeEdge的CloudCore节点,省公司的node节点作为KubeEdge的EdgeCore节点,CloudCore节点与EdgeCore节点连接上后,在EdgeCore上启动磐舟GitOps业务中ArgoCD pod,统一下发CD一体化的元数据,从而将省公司资源池做到方便的集群创建、集群纳管,最终方便的达成自动化GitOps交付。

»集群自动化创建场景:基于省公司的资源池来创建磐基PaaS集群,运维人员在master节点使用磐舟GitOps,通过CloudCore与EdgeCore的通信,部署来自openEuler社区的集群自动化部署工具-eggo的实例。之后在边缘侧,就可以通过eggo来自动化完成省公司磐基PaaS集群的创建。

综上,通过将KubeEdge集成至磐基PaaS平台,成功打通移动集团与各省公司的网络,实现“1+31+N”的K8S集群全部连通、

实现统一管理、简化多集群的运维系统、减少运营成本;同时也成功将前面提到的500台鲲鹏服务器以及它上面的BCLinux for Euler集群纳入磐基PaaS平台的大家庭之中,运维效率大幅增加。

磐舟磐基平台在多集群管理的下一步计划

在完成KubeEdge集成到磐舟磐基平台这项专项工作之后,考虑到后续不仅是由master节点纳管单个edge节点,还会考虑在将南向集群的单个节点组成一个集群,实现控制面的自动化集群部署,支撑省公司集群的控制面自动化。磐舟磐基平台计划进一步集成CNCF社区最新的集群联邦方案Karmada来完成“1+31+N”的PaaS多集群统一管理工作。

号外

7月7日,华为开发者大会2023 ( Cloud )将拉开帷幕,并将在国内30多个城市、海外10多个国家开设分会场,诚邀您参加这场不容错过的年度开发者盛会,让我们一起开启探索之旅!

我们将携手开发者、客户、合作伙伴,为您呈现华为云系列产品服务与丰富的创新实践,并与您探讨AI、大数据、数据库、PaaS、aPaaS、媒体服务、云原生、安全、物联网、区块链、开源等技术话题,展开全面深入的交流。

大会将汇聚全球科学家、行业领袖、技术专家、社区大咖,开设200多场开发者专题活动,为全球开发者提供面对面交流与合作的机会,共同探讨技术创新和业务发展。

大会官网:https://developer.huaweicloud.com/HDC.Cloud2023.html

参会购票:https://www.vmall.com/product/10086352254099.html?cid= 211761

点击参与开发者社区活动,观赏技术大咖秀、玩转技术梦工厂,有机会赢取4000元开发者礼包!

欢迎关注“华为云开发者联盟”公众号,获取大会议程、精彩活动和前沿干货。

点击关注,第一时间了解华为云新鲜技术~

全球即时看!磐舟磐基平台:基于KubeEdge的落地实践

2023-06-26 12:13:16

2023年高校毕业生等青年就业服务攻坚行动启动

2023-06-26 12:11:24

当前头条:全球微动态丨实时:【全球快播报】环球报道:上涨信号来了?农业农村部:未来两个月生猪出栏将减少,预计后市生猪价格将逐步回升!|世界实时|全球快讯

2023-06-26 11:52:30

全球关注:端午节期间日均132.1万人次出入境

2023-06-26 11:41:38

展示动漫艺术魅力 塑造城市文化品牌 全球视讯

2023-06-26 10:59:06

《消失的她》绝世大甜剧!消失的她伏笔有哪些?原型故事是什么?|环球热文

2023-06-26 11:05:28

干性皮肤吃哪些水果好? 独家焦点

2023-06-26 10:49:55

乡风美 乡韵浓 乡歌甜

2023-06-26 10:47:21

焦作市焦东路小学召开廉洁教育会议

2023-06-26 10:27:45

拜金主义享乐主义极端个人主义和历史虚无主义 拜金主义享乐主义极端个人主义

2023-06-26 10:12:24

东北证券,被罚没820万

2023-06-26 10:12:57

暗黑破坏神2修改器手机版(暗黑破坏神2修改器) 环球热讯

2023-06-26 10:24:33

上海灵活就业人员社保缴费标准2023年 具体标准如下

2023-06-26 10:06:34

杨瀚森7投6中堪比周琦,仍存在一致命短板,刘维伟翻身在望偷着乐

2023-06-26 09:21:29

永晗科技:年产20万吨锂电池梯级再利用项目(一期)投产 天天视点

2023-06-26 09:13:47

世界观焦点:[快讯]中孚实业4589万限售股7月3日解禁

2023-06-26 09:24:44

端午假期儋州海花岛人气火爆|世界头条

2023-06-26 09:07:04

时讯:警惕!奥密克戎被发现与致死率达35%的病毒重组!关于新冠 张文宏最新发声

2023-06-26 08:55:49

广东部署开展茶叶过度包装专项治理工作 当前通讯

2023-06-26 08:59:10

小学生送给女生什么礼物好?讲解艺术绘画中的线条类型,挑战你的认知水平!_环球热点评

2023-06-26 08:51:49

用盐政姚德宽韵_关于用盐政姚德宽韵介绍_环球报道

2023-06-26 08:48:44

俄媒:拉夫罗夫称,拜登对俄核威胁的指控是“毫无根据的出格言论”

2023-06-26 08:21:48

每日短讯:普里戈任接受白俄缓和局势建议 其刑事立案将获撤销

2023-06-26 07:55:20

播报:兴隆旅游景点大全贵州(兴隆旅游景点大全)

2023-06-26 07:24:18

雅砻江加快打造可再生能源基地,每年可供电3000亿度-当前滚动

2023-06-26 07:02:25

95后清华女孩:为弟做性教育

2023-06-26 06:23:04

奇记净味去狐臭_奇记净味香腋露多少钱|每日视讯

2023-06-26 06:13:52

6月25日华鲁恒升异辛醇价格上涨_全球独家

2023-06-26 05:58:44

2023浙江高考分数线出炉 普通一段线488分 二段线274分|今日视点

2023-06-26 05:59:53

每日速递:大众集团CEO:奥迪落后于竞争对手 主要原因是软件问题

2023-06-26 06:01:19

税护老字号,守护舌尖上的老味道-天天观天下

2023-06-26 05:40:49

鳌峰_关于鳌峰简述|天天看点

2023-06-26 05:19:57

最新快讯!端午假期北京全市公园纳客326万人次 同比增61%

2023-06-26 05:12:00

拜登儿子、女儿、侄女、弟弟都犯过罪,美媒称拜登家族为“第一犯罪家族”

2023-06-26 05:16:13

斗南花市首个“云花”联调室成立

2023-06-26 04:48:29

全球最大水光互补电站投产发电|当前快看

2023-06-26 04:41:08

邱耀乐妈妈提告炎亚纶 称要让对方承担法律责任_焦点讯息

2023-06-26 04:39:00

周润发,在68岁这一年,输得一败涂地!

2023-06-26 04:19:55

钙钛矿太阳能电池创下转换效率新纪录_每日快看

2023-06-26 03:45:14

教育部发布2023年高考志愿填报十问十答

2023-06-26 03:32:30

视频|去年江苏1307人因毒品犯罪获刑,案件数量呈连续下降趋势

2023-06-26 03:19:49

闯红灯!这些霞浦人被曝光了|速看料

2023-06-26 03:16:38

翔子来啦·极速周新闻⑤|75秒 本周热点全知道(6.19-6.25)

2023-06-26 02:29:11

pt999铂金回收价格今日多少钱一克(2023年06月25日)

2023-06-26 02:33:19

失眠有治了!锦旗背后一个治愈失眠的故事 每日快播

2023-06-26 02:21:53

江西2023二级建造师考试查分时间

2023-06-26 02:03:29

你问政我来答丨一眼千年国潮风起 都来“种草”这场文旅盛会_当前独家

2023-06-26 01:53:11

【全球快播报】RTX 4060 3DMark跑分大量泄露:对比RTX 3060 8GB提升近50%

2023-06-26 01:52:09

秦刚会见俄罗斯副外长鲁登科

2023-06-26 01:09:28

正观漫读|总有一些废话,想说给你听

2023-06-26 00:52:35

广东广州激光脱唇毛是不会对皮肤造成损伤的吗_环球报道

2023-06-26 00:14:08

上街区开展养老机构消防应急演练暨消防安全知识培训

2023-06-26 00:20:06

6月25日上海地区天然橡胶行情平稳 即时焦点

2023-06-26 00:28:55

长沙邮局海关查获“异宠”甲虫14只

2023-06-25 23:29:03

看点:公益盛会 助力志愿填报 深圳市2023年全国高校招生咨询会定于6月28日举行

2023-06-25 22:13:18

每日热讯!红薯熬成糖吃了有什么坏处

2023-06-25 22:26:27

快讯:海南省委宣传部一级巡视员孙苏被双开

2023-06-25 20:43:50

环球时讯:什么药膏可以祛斑?

2023-06-25 20:31:52

环球速讯:完美小姐她又没猜到结局第二章第三关怎么过 2.3完美魔术师通关攻略

2023-06-25 20:07:49

农发行深圳市分行开展“安全生产月”系列活动_全球新消息

2023-06-25 20:10:43

电影《热烈》发布黄渤特辑 “青岛舞王”再追梦|天天资讯

2023-06-25 19:41:35

格力集团成功发行10亿元超短期融资券 利率2.21%、期限268日-世界速递

2023-06-25 19:42:47

开心到原地跳脚!男孩查分显示全省前31名 当前热议

2023-06-25 19:54:39

微头条丨为什么好人没长寿,祸害遗千年?

2023-06-25 19:30:06

当前热讯:马背上的足球队绽放“村超”之夜

2023-06-25 19:11:44

《原神》3.8优�阵容搭配介绍

2023-06-25 19:03:35

医疗热点:北京嘉佩乐男子医院在那男科简讯:北京那家医院男科好

2023-06-25 18:53:27

社服行业周报:出行景气度向上,把握旺季业绩兑现

2023-06-25 17:44:57

世界今头条!从持续销冠引领到荣耀兑现!揭秘新世界云耀高质量交付背后的硬实力

2023-06-25 17:30:09

舟夜书所见停顿(夜书所见停顿)|环球百事通

2023-06-25 17:06:35

荆州海事局全力维护端午节期间沿江人民群众便捷出行

2023-06-25 17:07:42

世博如意金条价格今天多少一克(2023年06月25日)

2023-06-25 16:57:31

医生巧用神经毁损术 治疗顽固性癌痛

2023-06-25 16:14:02

深圳市罗湖区致和商事调解院成立 当前播报

2023-06-25 16:07:07

【全球时快讯】瑞幸咖啡官宣成为中国女篮官方合作伙伴

2023-06-25 16:03:26

上千家药企履约结果通报!多家未及时配送被点名!

2023-06-25 15:43:09

累计投资已达18亿元,伟星新材将在天津打造北方区域总部! 世界球精选

2023-06-25 15:07:20

广西壮族自治区隆安县发布暴雨黄色预警-资讯

2023-06-25 14:36:33

全球速讯:听说哪吒要和变形金刚组CP了?我觉得OK

2023-06-25 14:04:21

多名“90后”干部被查,是什么让他们踏出错误的第一步?

2023-06-25 13:11:14

第十九届西博会观众注册流程-全球观热点

2023-06-25 12:43:10

港股科技股开盘小幅高开 微博涨近5% 最新资讯

2023-06-25 12:12:38

1-4!贝克汉姆输麻了,7连败+丢16球,梅西接烂摊子:拿不到冠军|焦点热闻

2023-06-25 11:23:44

当前热讯:今年1月-5月进出口增长强劲 厦企享退税120亿

2023-06-25 10:52:24

中国海员建设工会公布服务船员重点项目-环球快看点

2023-06-25 10:53:06

天天快资讯:中国农业发展银行总行专家委员会副主任委员赵富洲接受审查调查

2023-06-25 10:13:03

慕思淄味烧烤音乐会唱响 品人间烟火睡更好一些-每日热点

2023-06-25 09:59:57

三相弹哪几个国家有

2023-06-25 09:10:15

办公室如何多台电脑共享一台打印机_如何多台电脑共享一台打印机win7

2023-06-25 08:39:52

如何处理客户投诉测试题_如何处理客户投诉

2023-06-25 07:56:22

天天快资讯:群侠夺宝战_关于群侠夺宝战介绍

2023-06-25 06:56:19

全球快消息!iphonex截图怎么截_iphonex怎么截图

2023-06-25 05:51:16

当前视讯!货代知识100条_货代专业词汇整理

2023-06-25 02:57:27

广州hpv治哪家医院不复发

2023-06-25 00:47:06

中华不振的历史资料简短_中华不振的历史资料-世界即时

2023-06-24 22:14:48

每日速看!大兴这两个地块规划公示!原来是这些用途!

2023-06-24 21:06:57

强拆违建房屋有补偿吗|环球观察

2023-06-24 19:46:27

最高人民法院对非法侵入计算机信息系统行为 热点

2023-06-24 18:55:48

我科学家发现最高超导转变温度的元素超导体|当前要闻

2023-06-24 17:50:49

铁路等部门全力保障端午假期返程客流平安有序

2023-06-24 16:51:59