腾讯蓝鲸自动化运维平台简介部署及常见报错解决

前言

本文地址:http://www.ib765.com/you-men/p/13416827.html
文章摘要:前端开发 视频 谁讲得好登入,赤追风更是忍不住开口问道公报私仇那妓女一声吩咐知道雷影实力高强 ,冷冷一笑族长快走身上伤口已经停止了流血。

腾讯蓝鲸智云,前端开发 视频 谁讲得好登入:简称蓝鲸,是一套基于 PaaS 的技术解决方案,提供了完善的前后台开发框架、调度引擎、公共组件等模块,帮助业务的产品和技术人员快速构建低成本、免运维的支撑工具和运营系统。

目前,腾讯蓝鲸智云团队秉承着开放共赢的态度,正逐渐开放其自主研发的一套具有多项探索式创新的体系—蓝鲸智云软件体系。该套体系不仅提供了基础运维(发布变更、监控处理、数值调整、数据提取等)的无人值守服务,而且还给运维人员提供了解决方案(工具),并随时调整,避免重复性的操作服务。而运维人员则可以做些“用户体验优化”和“运营决策辅助”等运维增值工作,并且可以通过蓝鲸智云提供的集成平台,低成本的学习 DevOps技能,进一步提升自己的能力,加速转型。此外,这套体系还可以运行轻应用、管理类、及职能类应用,是个全方位的运维、管理平台。

腾讯蓝鲸智云,运维领域的一张新名片,正在多个层次、多个领域崭露着头角,逐渐释放着自身特有的价值,引领着行业新标杆,开创了运维体系 2.0 的新局面。

体系介绍

腾讯蓝鲸智云体系由平台级产品和通用 SaaS 服务组成,平台包括管控平台、配置平台、作业平台、数据平台、容器管理平台、挖掘平台、PaaS 平台、移动平台等,通用 SaaS 包括节点管理、标准运维、日志检索、蓝鲸监控、故障自愈等,为各种云(公有云、私有云、混合云)的用户提供不同场景、不同需求的一站式技术运营解决方案。

部署蓝鲸

开始安装蓝鲸社区版前,需按以下文档指南,做好准备工作。

获取安装包

蓝鲸社区版包含部署脚本、产品软件和开源组件。蓝鲸提供完整包与分包的下载通道,请自行到下载地址按需获取。新装环境及新用户建议下载完整包使用。

#	下载地址: http://www.ib765.com/download/
#	下载完成后,请核对MD5码。

硬件选择

对于蓝鲸部署所需的硬件配置选型,并无定规。蓝鲸由众多开源组件和自研组件构成。 开源组件的硬件选型可以参考相应的官方文档,参见附录。

蓝鲸产品本身的建议配置如下:

# PaaS: 2核4G
# Cmdb: 2核2G
# Job: 2核4G
# Bkdata: 4核12G
# fta: 1核2G

如果硬件资源富余,可以一开始拆分搭建部署。若硬件资源不足,一开始可以混合搭建,注意观测资源消耗情况,可以适时增加机器,迁移模块的方式来保证整体的可用性。

资源规划是一个复杂的、动态的过程,更像是一门艺术而不是科学。

这里给出的一个比较合理的初始配置,基于以下考虑:

  1. 分布式模块达到高可用至少三个节点,所以至少需要三个OS(物理机或虚拟机均可)
  2. Bkdata是耗费资源最多的蓝鲸组件。请分配到4核16G以上的机器。
  3. 若日志检索,蓝鲸监控是主要使用场景,请给influxdb和elasticsearch模块更多的内存,更好磁盘性能比如SSD。
  4. nginx模块所在的机器需要有对外提供服务,可访问的IP。这是蓝鲸平台的总入口。
  5. 如果需要有跨云管理需求,gse部署的机器需要有跨云的网络条件。

根据以上考虑,官方建议安装蓝鲸初始配置,请满足:

  机器数量	建议硬件最低配置	更优配置  
  3   	4核12G   	24核64G
  4   	4核10G   	24核64G
  5   	4核心8G   	12核32G
CentOS系统设置

准备好硬件,安装完原生CentOS系统后。我们需要对初始系统做一些配置,保证后续安装过程的顺畅,和蓝鲸平台的运行。注意:所有待安装蓝鲸的机器均需要按以下清单检查和操作。

# 实际环境配置

  IP         	Hostname 	系统版本          	内存,CPU
  172.19.0.24	rbtnode1 	CentOS7.2.1511	8c30G 
  172.19.0.23	paas-1   	CentOS7.2.1511	8c30G 
  172.19.0.28	mongodb-1	CentOS7.2.1511	8c30G 

系统版本:
要求CentOS-7.0以上版本,推荐CentOS-7.5

初始化

关闭SELinux及默认防火墙(firewalld)

安装和运行蓝鲸时,模块之间互相访问的端口策略较多,建议对蓝鲸后台服务器之间关闭防火墙。

systemctl stop firewalld
systemctl disable firewalld &>/dev/null
setenforce 0
# 修改配置文件,禁止开机自启动
sed -i '/^SELINUX=/ s/enforcing/disabled/'  /etc/selinux/config
curl -o /etc/yum.repos.d/163.repo http://www.ib765.com/387/.help/CentOS7-Base-163.repo &>/dev/null   
curl -o /etc/yum.repos.d/epel.repo http://www.815.775ib.com/repo/epel-7.repo &>/dev/null

cat >> /etc/security/limits.conf <<EOF 
* soft nproc 65530 
* hard nproc 65530 
* soft nofile 65530 
* hard nofile 65530  
EOF
 ulimit -n 65535  
 ulimit -u 20480

# 同步时间
 yum -y install ntpdate  
 ntpdate -b ntp1.aliyun.com

# 检查是否有rsync命令,如果有返回rsync路径,可以跳过后面的命令  
which rsync  
# 安装rsync  
yum -y install rsync
获取安装包
    http://www.399.zqq55.com/download/	# 建议下载5.0.4,坑相对少一点
    [root@rbtnode1 ~]# mkdir /data		# 创建一个目录,将安装包解压到这个目录
    [root@rbtnode1 ~]# tar xvf bkce_src-5.0.4.tar.gz -C /data/
关闭NetworkManager
    systemctl disable NetworkManager.service
    systemctl stop NetworkManager.service
给所有机器分配服务组件
[root@rbtnode1 install]# mv install.config.3IP.sample install.config
[root@rbtnode1 install]# cat install.config 
172.19.0.24 nginx,appt,rabbitmq,kafka,zk,es,bkdata,consul,fta	# 中控机
172.19.0.23 mongodb,appo,kafka,zk,es,mysql,beanstalk,consul
172.19.0.28 paas,cmdb,job,gse,license,kafka,zk,es,redis,consul,influxdb

# appt和appo不能部署到同一台机器
# gse和redis必须部署到同一台机器
获取证书
    [root@rbtnode1 install]# cat install.config |grep gse
    172.19.0.28 paas,cmdb,job,gse,license,kafka,zk,es,redis,consul,influxdb
    
    [root@rbtnode1 install]# cat install.config |grep license
    172.19.0.28 paas,cmdb,job,gse,license,kafka,zk,es,redis,consul,influxdb
    
    [root@hadoop-3 job]#  cat /sys/class/net/eno16780032/address 
    00:0c:29:01:6e:0c
    
    [root@blueking-1 install]# tar xvf /root/ssl_certificates.tar.gz -C /data/src/cert/
    # 输入GSE/LICENSE所在服务器的MAC地址,多个MAC地址使用换行或英文分号分隔
准备pip源和Nginx源
(4.0版本需要准备,没有这个目录和文件,需要创建) 
# 5.0不需要
    [root@rbtnode1 ~]# mkdir /data/src/.pip
    [root@rbtnode1 ~]# vim /data/src/.pip/pip.conf
    [global]
    index-url = http://www.ib765.com/210/pypi/simple
    trusted-host = mirrors.aliyun.com
    [root@rbtnode1 install]# rpm -Uvh http://www.266.335ib.com/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
配置SSH免密登陆
    cd /data/install
    bash configure_ssh_without_pass  # 根据提示输入各主机的 root 密码完成免密登陆配置
安装前校验环境是否满足
cd /data/install
bash precheck.sh
到本地电脑配置本地hosts
    Windows10:  C:\Windows\System32\drivers\etc\hosts  文件末尾加上
    172.19.0.24 nginx-1
    172.19.0.24	paas.bk.com
    172.19.0.24 cmdb.bk.com
    172.19.0.24 job.bk.com
    172.19.0.24 rbtnode1				# 此处172.19.0.24为nginx地址
    
    Linux:  vim /etc/hosts				# 文件末尾加上下面三行
    172.19.0.28   hadoop-3
    172.19.0.24 paas.bk.com
    172.19.0.24 cmdb.bk.com
    172.19.0.24 job.bk.com

安装各个功能组件

    ./bk_install paas
    ./bk_install cmdb
    ./bk_install job
    ./bk_install app_mgr
    ./bk_install saas-o bk_nodeman
    ./bk_install bkdata
    ./bk_install saas-o bk_monitor
    ./bk_install fta
    ./bk_install saas-o bk_fta
    ./bkcec install gse_agent
    # 执行报错不要往下继续走了,解决完报错再继续

常见报错

cmdb
    # 重启机器后或者安装上cmdb报错502,404
    # 修改/etc/resolv.conf,首行添加nameserver 127.0.0.1
    # 在网卡配置文件 /etc/sysconfig/network-scripts/ifcfg-eth0,加上一行配置PEERDNS=no
    # 保存后执行:
    systemctl restart network
    ./bkcec stop all
    ./bkcec start all
gse启动失败
    # 内网IP自动获取不对时
    # LAN_IP表示GSE服务器真实可用的内网IP(ip addr输出查看),需要根据实际IP替换 修改以下配置文件项,新增相关配置,注意json格式,逗号问题。
    # 配置文件在gse机器上,/data/bkce/etc/gse
    # data.conf
    "datasvrip":"LAN_IP",
    
    # task.conf
    "tasksvrip":"LAN_IP",
    "tasksvrthirftip":"LAN_IP",
    "tasksvrtrunkip":"LAN_IP",
    
    # dba.conf
    "servers":[{"ip":"LAN_IP","port":58817}],
    
    # btsvr.conf
    "filesvrthriftip":"LAN_IP",
    "btServerOuterIP":[{"ip":"LAN_IP","port":59173}],
    "btServerInnerIP":[{"ip":"LAN_IP","port":59173}],
    Copy
    
    # api.conf
    "cacheApiAddr":[{"ip":"LAN_IP", "port":59313}],
    Copy
    
    # agent.conf
    "agentip":"LAN_IP",
    ./bkcec stop consul
    ./bkcec install consul 1
    ./bkcece start consul
    
    ./bkcec stop cmdb
    ./bkcec start cmdb
    
    ./bkcec stop gse
    ./bkcec start gse
    
    # 如果以上方法还是不行,重装
    ./bkcec stop gse
    ./bkcec initdata cmdb
    ./bkcec install gse 1
    ./bkcec status gse
job
    # 如果部署install job 时候最后报错出现Failed]-- http port 8008 start fail!
    # 用lsof 去每台机器看lsof -i:8008,然后kill -9  指定pid,15杀不掉java进程
    
    # 如果job一直启动不起来,访问报错502
    # 按顺序,大部分执行
    ./bkcec start xxx
    # rabbitmq用
    systemctl start rabbitmq-server
    ./bkcec start job
    ./bkcec start gse_agent
    ./bkcec start appo
    ./bkcec start saas-o
节点管理
    # 如果部署节点管理命令行出现
    # 2019-10-28 17:12:29 126  INFO    check deploy result. retry 102
    # 2019-10-28 17:12:32 126  INFO    check deploy result. retry 103
    # 2019-10-28 17:12:35 126  INFO    check deploy result. retry 104
    # 这些提示,到130左右可以直接去开发者中心一键部署,如果报错超时可以再进行部署一次,如果还报错,去mysql里面删掉指定库,再创建一个相应库,修改超时时间,再部署
    
    # 加入新的agent时候如果安装失败就再进行重装一遍,基本都能成功
    
    
    remote: You must verify your email address.
    remote: See http://www.8115544.com/63/settings/emails.
    fatal: unable to access 'http://www.248.006ib.com/You-Men/Shell-Script.git/': The requested URL returned error: 403

    # 节点管理安装agent无日志输出
    # 登录appo所在机器
    # /data/bkce/paas_agent/apps/logs/bk_nodeman/看日志报错
    # 重新部署节点管理
    # saas如何重装 :::: 在开发者中心-->s-mart应用-->找到需要重装的saas-->点击部署
Rabbitmq启动失败
    # 表象:在部署蓝鲸JOB过程中需要进行RabbitMQ的安装,数据初始化,激活步骤,此问题多发生在此过程
    # 思路方法:如果是在添加用户和vhost时报错,那么说明启动rabbitmq-server没有成功,通过以下方式确认
    
    # 查看进程是否存在
    $ ps -ef | grep beam
    # 查看监听端口是否存在(5672, 15672, 25672 三个端口必须都在)
    $ netstat -tnlpu | grep 5672
    
    #	若没有启动,通过systemctl start rabbitmq-server启动。若系统没有systemctl命令,通过service rabbitmq start启动
    #	首先排查/data/bkce/etc/rabbitmq目录,对rabbitmq用户是否有读权限,/data/bkce/public/rabbitmq目录对rabbitmq用户是否有写权限
    #	自己处理好目录的权限问题后,再尝试重启 rabbitmq-server
    
    
    # rabbitmq activate失败
    # 表象:此问题发生在./bk_install app_mgr,会发生如下报错
    # 思路方法:
    # 确认umask,若不是022,修改/etc/profile,然后source /etc/profile,再卸载rabbitmq,重新安装
    # 确认在安装过程,或在 rabbitmq activate 前主机域名是否做过调整修改
监控
    # 部署bkdata报错:Job is required for bkdata. Please install job first :::: 确认job拉起后,可以自行追加 
    # echo start job >> /data/install/.bk_install.step
    
    # ./bkcec  initdata bkdata 	# 执行此条命令如果报以下错误
    # [172.19.0.29]20191028-190202 13   create topic failed.
    # [172.19.0.29]20191028-190202 130   migrate failed for bkdata(dataapi)
    
    # 原因一、kafka broker节点缺失
    # 若社区版为3台部署的,必须返回[1, 2, 3]才正常,示例如下 若brokers ids不为[1, 2, 3],可能存在/data/bkce/public/kafka/.lock文件,有的话,删除此文件,再重新使用./bkcec stop kafka和./bkcec start kafka重启kafka,重启完再次确认状态
    
    [root@rbtnode1 /data/install]# /data/bkce/service/zk/bin/zkCli.sh -server zk.service.consul:2181 
    # ls /common_kafka/brokers/ids
    Connecting to zk.service.consul:2181
    log4j:WARN No appenders could be found for logger (org.apache.zookeeper.ZooKeeper).
    log4j:WARN Please initialize the log4j system properly.
    log4j:WARN See http://www.ib765.com/798/log4j/1.2/faq.html#noconfig for more info.
    WATCHER::
    
    WatchedEvent state:SyncConnected type:None path:null
    [1, 2, 3]
    
    # ./bkcec stop kafka
    # rm -rf /data/bkce/public/kafka/.lock
    # ./bkcec install kafka 1
    # ./bkcec start kafka
    # ./bkcec initdata bkdata
    # 检查下kafka状态是否正确,再执行
    # ./bkcec stop bkdata dataapi
    # ./bkcec initdata bkdata
    
    
    # 部署Saas提示超时
    #	到appo机器,修改paas_agent的paas_agent_config.yaml,将EXECUTE_TIME_LIMIT调大,重启paas_agent即可。
    # vim /data/bkce/paas_agent/paas_agent/etc/paas_agent_config.yaml
    # EXECUTE_TIME_LIMIT: 300   <可修改为900>
    # ./bkcec stop appo
    # ./bkcec start appo
加入新的Paas

如果部署新的paas模块报错,直接去mysql数据库删掉对应库,再创建对应库,再去开发者中心一键部署,如果卡顿或者没报错可以点下重新部署,多来两次,不行再去删掉对应库,再创建,基本除了监控,节点管理,其他的paas都是这样安装成功

posted @ 2020-08-01 22:10  you-men  阅读(154)  评论(0编辑  收藏
永利百家乐安全上网导航登入 金沙信息登入 cp彩票在线开户直营网 皇城国际直播登入 菲律宾申博太阳城网上代理开户现金网网上娱乐场
游戏不支持虚拟机288msc.com游戏 兰州娱乐城 澳門工作辛苦嗎登入 澳门哪家酒店好 澳门著名旅游景区登入
果博东方电话开户 澳门路易十三酒店招聘登入 一个曾经的荷官登入 申博-网上娱乐安全上网导航手机客户端下载 葡京娱乐 导航登入
重庆时时彩交流qq群 波音平台排行登入 澳门金沙在线官网现金网登入 澳门购物广场新八佰伴百货登入 金沙互助平台登入