开源自动化运维平台_运维之路

开源自动化运维平台_运维之路原文链接:三分钟走进袋鼠云一站式全自动化全生命周期运维管家ChengYing(承影) 课件获取:关注公众号 ** “数栈研习社”,后台私信 “ChengYing”** 获得直播课件 视频回放:点击这里

大数据开源项目,一站式全自动化全生命周期运维管家ChengYing(承影)走向何方?

原文链接:三分钟走进袋鼠云一站式全自动化全生命周期运维管家ChengYing(承影)

课件获取:关注公众号 ** “数栈研习社”,后台私信 “ChengYing”** 获得直播课件

视频回放:点击这里

ChengYing 开源项目地址:github 丨 gitee 喜欢我们的项目给我们点个** STAR!STAR!!STAR!!!**(重要的事情说三遍)

技术交流钉钉qun:30537511

2022年5月30日,袋鼠云对外开源了一站式全自动化运维管家ChengYing(承影),为了帮助社区同学更好的使用ChengYing,自开源之后我们就紧锣密鼓的筹备直播相关事宜,从6月开始,我们将每月为大家组织一次直播,和大家分享ChengYing的相关内容,欢迎大家持续关注。

一、ChengYing简介

ChengYing(承影)——承袭于袋鼠云开源项目名剑家族的概念,取自十大名剑之承影剑。

ChengYing(承影)作为一站式全自动化全生命周期运维管家,提供大数据产品的一站式部署、运维、监控服务,其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等功能,致力于最大化节省运维成本,降低线上故障率与运维难度,为客户提供安全稳定的产品部署与监控。

ChengYing脱胎于袋鼠云数栈自主研发的一站式运维管家EasyManager,从开放式统一监控、到定义标准化部署能力,而后引入Prometheus/Grafana/自研dt-alert组件,完成统一监控2.0的功能优化,再到新增多集群管理能力,最后完成了内部孵化,成功开源ChengYing。

file

二、ChengYing功能特性

在介绍ChengYing的功能特性之前,我们先熟悉几个概念:

名词概念

  • 产品

指用ChengYing部署的大数据产品,如数栈(DTinsight)、云日志(EasyLog)等,作为ChengYing最高级别的组织单位。

  • 组件

一般和”组件安装包”等同,指产品下包含多个组件,即产品下包含多个组件安装包,如数栈(DTinsight)产品下包含Hadoop、DTBase、DTCommon、DTBatch、DTStream等多个组件,代表不同的应用。

  • 服务组

组件下的服务分类,如Hadoop组件下包含HDFS、Spark、Yarn、Flink、Default等服务组,进行服务区分。

  • 服务

指服务组下的具体服务,如HDFS服务组下包含hdfs_datanode、hdfs_journalnode、hdfs_namenode、hdfs_zkfc等组件;Spark服务组下包含hivemetastore、spark_historyserver、thriftserver等组件。

  • 主机分组

指对主机进行人为分组,当主机数量过多时可进行分组,方便管理。

  • 主机

指服务器,包含物理机、虚拟机,指产品部署时需要的硬件资源,通常以主机IP或主机名称进行区分。

功能特性

ChengYing具备六大功能特性:

  • 统一的Schema定义

抽象化产品包定义,用一套标准的Schema定义一个产品包的完整的生命周期,包括安装、启动、配置、升级、卸载等。

  • 集群管理

支持多集群设置,便于在一套ChengYing系统中部署多套资源隔离的服务;支持对集群中所有产品包、所有主机、集群资源的管理。

  • 安装部署

支持产品包的快速安装与部署。

  • 服务管理

支持查看各服务及服务实例的运行、健康检查状态;

支持服务的配置修改下发;

支持服务的滚动重启;

支持服务的配置查看。

  • 监控告警

集成prometheus/grafana组件作为可视化仪表盘组件监控集群、主机、服务性能检测;支持邮件、短信、钉钉以及自定义告警通道发送告警信息。

  • 节点扩容/缩容

支持根据集群运行状况,产品化支持主机资源扩充与缩减。

三、ChengYing系统架构设计

  • ChengYing系统架构

file

  • ChengYing Agent设计

file

  • 统一Schema设计

file

  • 监控设计

file

  • 架构设计讲解

由于架构设计讲解的内容比较多,在此我们不做具体回顾,大家可以观看视频进行详细了解。

B站直播回顾地址:

https://www.bilibili.com/video/BV1Ht4y187xo?spm_id_from=333.999.0.0

四、ChengYing快速入门

接下来为大家介绍如何快速部署ChengYing:

  • 环境要求

file

  • 快速部署

下载安装包:

https://github.com/DTStack/chengying/releases/download/v1.0.0/chengying-release-1.0.tar.gz

解压安装包:

tar zxvf chengying-release-1.0.tar.gz

cd chengying-release-1.0

运行安装脚本:

sh install.sh local_ip(local_ip为Chengying所在机器ip)

查看页面:

http://local_ip

file

  • 上传组件安装包

file

  • 选择集群与安装包

file

file

  • 配置服务

file

  • 执行部署

file

五、ChengYing未来规划

最后为大家介绍ChengYing的未来规划及近期主要做的事情:

未来规划

  • 服务编排

支持基于主机角色与服务类型自动编排,减少人工操作成本。

  • 部署方式

支持自定义部署产品包流水线顺序。

  • 安全认证

支持集群开启Kerberos认证,票据生成与下载。

  • 监控告警

支持基于PromQL的自定义告警设置,丰富告警类型。

近期重点事宜

  • 计划8月底发布ChengYing V1.1.0 Release。

  • 每月一次开源技术直播。

  • 与Chunjun/Taier梦幻联动–尝试使用ChengYing部署Chunjun/Taier。

袋鼠云开源框架钉钉技术交流qun(30537511),欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息,开源项目库地址:https://github.com/DTStack

原文地址:https://www.cnblogs.com/DTinsight/archive/2022/07/07/16455746.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/5046.html

(0)
上一篇 2023-05-25
下一篇 2023-05-25

相关推荐

  • Python number round函数的精度控制

    Python number round函数的精度控制Python中的number round函数是一个非常有用的函数,它可以将一个数字四舍五入到指定的精度。在本文中,我们将从多个方面探讨Python number round函数的精度控制。

    2023-12-18
    122
  • 用Python构建强大的对象导向程序

    用Python构建强大的对象导向程序Python是一种动态、解释性、高级编程语言,被广泛用于数据科学、机器学习、Web应用开发等领域。Python的强大之处在于它提供了多种编程风格,其中面向对象编程(Object Oriented Programming,简称OOP)是最为流行且有效的方式之一。本文旨在探讨如何用Python构建强大的对象导向程序,分别从以下几个方面展开。

    2024-02-12
    88
  • Python 实用技能大杂烩

    Python 实用技能大杂烩日期处理对于开发工程师来说非常重要,而在Python中,datetime模块是我们的好帮手。当我们拿到一个时间戳后,想要将其转换成可读时间格式,可以按照下面的代码示例进行:

    2024-03-02
    82
  • MySQL数据库教程_MySQL入门

    MySQL数据库教程_MySQL入门第五章–排序检索数据 1.子句(clause) SQL语句由子句构成,有些子句是必需的,而有的是可选的。一个子句通常由一个关键字和所提供的数据组 成。子句的例子有SELECT语句的FROM子句 2…

    2023-02-16
    142
  • mysql各种类型的字段

    mysql各种类型的字段
    mysql各种类型的字段 /* Navicat MySQL Data Transfer Source Server : MySQL_localhost_20…

    2023-04-05
    153
  • 从创建索引过程中内存变化来看SQL Server与MySQL的内存淘汰算法[亲测有效]

    从创建索引过程中内存变化来看SQL Server与MySQL的内存淘汰算法[亲测有效]在sqlserver中,几年之前就注意到一个现象:sqlserver中对一个大表创建索引或者rebuild索引的过程中,会引起内存剧烈的动荡,究其原因为何,这种现象到底正不正常,是不是sqlserve

    2023-02-20
    145
  • 带你快速入门安装配置_ MongoDB[通俗易懂]

    带你快速入门安装配置_ MongoDB[通俗易懂]MongoDB 一.什么是 MongoDB MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介…

    2023-03-10
    149
  • 编写Python爬虫的基本步骤

    编写Python爬虫的基本步骤随着互联网的发展,人们开始对网上信息的需求越来越大。但是,在众多网站中找到所需信息并不是一件容易的事情。因此,网络爬虫应运而生。它能够得到我们需要的信息,而Python作为一门广泛应用的语言,自然成了网络爬虫的首选。

    2024-07-30
    29

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注