拓扑园

  • O&M
    • Universal部署
    • PHP+VUE+Laravel相关
  • Oracle性能优化
  • Oracle项目案例
    • Oracle近期项目案例(目录)
    • Oracle实战问题解析(目录)
    • Oracle数据库名变更流程(2种方式)
    • Oracle数据库目录更换流程(使用Oracle的clone工具)
    • Oracle数据库迁移方案(目录)
    • 标准化文档系列
  • Oracle基础知识
    • LLL的Oracle培训(分类)
    • LLL的docker培训(分类)
    • 标准化文档系列--(分类)
    • Oracle核心经典分析(分类)
    • 图灵小队----(分类并包含以下文章)
    • --MySQL8.0/Oracle/Memcached/Redis等安装配置于RHEL/OL6/7/8.X系列-运行环境最优配置
    • --PG安装配置于RHEL/9X系列-运行环境最优配置
    • --自动维护任务详解-开启、关闭信息统计收集(统计信息)
    • --图灵小队—Oracle/PostgreSQL下创建一个用户测试表(自行定义数据行)
    • --图灵小队-Oracle存储过程导出表的明细_UTL_FILE(文章)
    • --图灵小队-Oracle数据库删除/卸载操作指南(文章)
    • --图灵小队-Oracle常用性能查询SQL语句(文章)
    • --图灵小队-Oracle数据库上线前检查(文章)
    • --图灵小队-Oracle常用SQL语句(文章)
    • --图灵小队—Linux/Oracle脚本/MySQL合集(持续更新)
    • --图灵小队-Oracle技巧记录(文章)
    • ADG
    • RAC
    • ASM
    • OGG
    • RMAN
    • EXPDP/IMPDP
    • 工厂数据导入导出系列
  • MySQL
    • MySQL数据库规范
    • MySQL项目案例
    • MySQL安装配置
    • MYSQL集群项目
    • MySQL常见处理
    • MySQL-Sysbench专题
    • MySQL-Percona Toolkit专题
  • Linux
    • Shell编程
    • kubernetes
    • docker
    • Linux
    • PHP
    • Nginx
    • haproxy
    • mail
    • 网站
    • 域名
    • 网址收藏
  • 数据中心
    • 新框架系统集合
    • 工作文档
    • EBS数据文件扩容
    • VMware虚拟化
    • EBS系列
    • 大数据
    • SVN
    • zabbix
    • SAP
    • 备份相关
    • FC交换机
    • SVN
  • K-Studing
    • D8-Python学习
    • Oracle/MySQl等面试题
    • LG-MySQL
    • LG-Docker/K8S
    • LG-PostgreSQL
    • LG-ORACLE_BBED
    • LG-ORACLE
    • LG-Elasticsearch(ES)+ELK
    • Oracle-19C-OCP
    • WERN_ORACLE培训
    • redis数据库
    • Nginx培训学习系列
  • 其他
    • 外研英语4年级下册-听力
    • 影视系列
    • 如何使用iTunes软件通过抓包下载旧版本的ios的app
天高任鸟飞
Oracle/MySQL数据库恢复/数据迁移/生产规范报告技术交流:TEL:18562510581(微信同号);加微信入群
  1. 首页
  2. 数据中心
  3. 大数据
  4. 正文

大数据正式机服务器启动步骤及注意事项

2020年9月23日 932点热度 0人点赞 0条评论

注意事项:

1、只有一个数据库主备2.48和2.49,但2.48有问题,后面放弃使用,只使用2.49,所以在启动数据库时,之启动2.49即可

2、2.46有一个调度程序,activemq,此服务的对外服务端口是61616,如果用root启动后,会产生一个log日志,在路径/bigdatamnt/hive/apache-activemq-5.14.4/data/kahadb中的db.log.下一次再用hive启动,会因为此log的权限问题导致失败,进而导致2.46的调度任务一直在等待。

解决方法:直接将db.log的权限改为hive:hive,再用hive启动即可

3、所有服务启动如果出现失败,一定要看日志,日志,日志。通过日志提示的错误解决问题。

序号 应用名称 停止步骤 启动步骤 所在主机(梁志强增加) 安装路径
1 cas单点登录 到安装路径bin目录下运行sh shutdown.sh 1. 登录hive用户
2. 到安装路径bin目录下运行sh startup.sh
http://172.18.2.67:9080/cas
172.18.2.45/172.18.2.46(2.67只是haproxy主机)
172.18.2.44、:/bigdatamnt/hive/apache-tomcat-9080-cas/bin
172.18.2.45:/bigdatamnt/hive/apache-tomcat-9080-cas/bin
172.18.2.45 /bigdatamnt/hive/authority/nohup java -jar authority-1.1.5.jar
2 陀螺仪补录平台 到安装路径bin目录下运行sh shutdown.sh 1. 登录hive用户
2. 到安装路径找到mss最新版的jar包,运行nohup java -jar dataCollection_yc_***.jar
http://172.18.2.46:6080/dataCollection(由2.67跳转) 172.18.2.46:/bigdatamnt/hive/DataCollection
3 陀螺仪数据质量平台(邮件发送) 到安装路径bin目录下运行sh shutdown.sh 1. 登录hive用户
2. 到安装路径bin目录下运行sh startup.sh
http://172.18.2.46:5080/dataGovernance 172.18.2.46:/home/hive/apache-tomcat-5080-dgp/bin
4 陀螺仪调度平台(有两个,2.42,2.46 ps -ef|grep MSS找到java -jar命令并kill掉 2.42
1. 登录hive用户
2. 到安装路径:/var/lib/hive/mss
3.找到mss最新版的jar包,运行nohup java -jar MSS-4.2.2.jar
版本要对,否则排序功能,跑数会有问题
2.46
1. 登录hive用户
2. 到安装路径/bigdatamnt/hive/mss
3.找到mss最新版的jar包,运行nohup java -jar MSS-4.2.2.jar
版本要对,否则排序功能,跑数会有问题
http://172.18.2.46:18080/MSS
http://172.18.2.42:18080/MSS(由172.189.2.67跳转)
/home/hive/mss/MSS-4.2.2.jar
authority 1.hive登录
2./bigdatamnt/hive/authority
3.运行 nohup java -jar authority-1.1.5.jar &
172.18.2.45
5 陀螺仪元数据管理平台 到安装路径bin目录下运行sh shutdown.sh 1. 登录hive用户
2. 到安装路径bin目录下运行sh startup.sh
http://172.18.2.47:18080/metadata /bigdatamnt/hive/apache-tomcat-7.0.78/bin
5 大数据移动端接口程序 1.登录hive用户
2./home/hive/InterfacePlatform/nohup java -jar InterfacePlatform-1.6.0.jar &
http://172.18.2.47:8087/InterfacePlatform/
http://172.18.2.44:8087/InterfacePlatform/
/home/hive/InterfacePlatform/
6 永洪报表(启动一定需要root权限,否则2.51,2.52,2.53访问有权限问题) 到安装路径/bigdatamnt/YH/tomcat/bin目录下运行sh shutdown.sh
如果ps -ef|grep tomcat还有进程,直接kill -9 ID
1. 登录root用户
2. 到三个节点(2.51,52,53)安装路径/bigdatamnt/YH/tomcat/bin目录下运行sh startup.sh
3.51,52,53分别启动
(1)在N节点(172.18.1.51)需要到安装路径/bigdatamnt/YH/manager/bin/startConsole.sh下运行sh startConsole.sh,/bigdatamnt/YH/console/bin/下运行sh startConsole.sh
(2)在其余的节点(172.18.1.52,172.18.1.53)需要到安装路径/bigdatamnt/YH/console/bin/下运行sh startConsole.sh
http://172.18.2.52:8080/bi/adminviewer
172.18.2.51--http://172.18.2.51:8080/——CNMR
172.18.2.52--http://172.18.2.51:8080/——CMR
172.18.2.53--http://172.18.2.51:8080/——MR
/bigdatamnt/YH/manager/bin/startConsole.sh
/bigdatamnt/YH/console/bin/
三个节点永洪自带了一个MPP,但这个不需要额外操作,永洪内部会处理,未有其他数据库,跑数的数据会存入永洪的文件系统,也就是mpp数据集市
(1)停止是先停非N节点(172.18.2.52,172.18.2.53),最后停止N节点(172.18.2.51)
(2)启动是先启动n节点(172.18.2.51),再启动其他非n节点(172.18.2.52,172.18.2.53)
7 水晶球门户 ps -ef|grep  portalSys找到 portalSys.jar并kill掉 /bigdatamnt/portal
nohup java -jar portalSys.jar   &/bigdatamnt/hive/portalSys
nohup java -jar  portalSys-1.0.15.jar  &
http://172.18.2.44:7080/portal /bigdatamnt/portal
8 水晶球门户管理 , 与门户共同启动 http://172.18.2.44:7080/RMS /bigdatamnt/portal
9 权限控制 ps -ef|grep authority找到java -jar命令并kill掉 1. 登录hive用户
2. 到安装路径找到authority最新版的jar包,运行nohup java -jar authority-1.1.5.jar &
172.18.2.45 /bigdatamnt/hive/authority/authority.jar
10 svn ps -ef|grep svn找到svnserve相关命令并kill掉 1. 登录root用户
2. 运行svnserve -d -r /bigdatamnt/hive/svn/  --listen-port=3690
svn://172.18.2.46:3690/20_EDW_DEPLOY
12 cm 1. 登录root用户
2. 运行service cloudera-scm-server start
http://172.18.2.50:7180
---(zookeeper)
/bigdatamnt/cm/cm
13 cdh节点 1. 登录root用户
2. 运行service cloudera-scm-agent start
172.18.2.40,172.18.2.41,172.18.2.42,172.18.2.43, 172.18.2.72 /etc/rc.d/init.d/cloudera-scm-agent
14 activeMQ-服务-调度的消息队列 ps -ef|grep activemq找到相应进程并kill掉;./activemq stop 1. 登录hive用户(如果用root启动,会导致,/bigdatamnt/hive/apache-activemq-5.14.4/data/kahadb中的db.log文件权限为root,hive(看网址)无法访问此文件

此文件导致2.46的调度无法使用,需要把文件进行chown为hive的即可启动activemq
https://blog.csdn.net/weixin_34296641/article/details/91994451
2. 到安装路径bin目录下运行./activemq start

172.18.2.46:61616 /bigdatamnt/hive/apache-activemq-5.14.4/bin/activemq
15 kettleLog ps -ef|grep kettleLog找到java -jar命令并kill掉 1. 登录hive用户
2. 到安装路径找到kettleLog最新版的jar包,运行nohup java -jar kettleLog.jar
172.18.2.40,172.18.2.41,172.18.2.43 172.18.2.40,41,43:/var/lib/hive/kettleLogs/kettleLogs.jar
16 keepalived(mysql) service mysql stop; ps -ef | grep keepalived找到进程并杀掉 1. 登录root用户
2. service mysql start
3、service keepalived start
2. /usr/local/keepalived/sbin/keepalived -f /etc/keepalived/keepalived.conf
172.18.2.48,172.18.2.49---虚拟化2.68
17 keepalived(haproxy) service haproxy stop; service keepalived stop 1. 登录root用户
2. service haproxy start
2. service keepalived start
172.18.2.67(65,66)---6080,7080,9080,等跳转到对应服务器 http://dc.kportal.*.com:6080/dataCollection/#/
本作品采用 知识共享署名 4.0 国际许可协议 进行许可
标签: 暂无
最后更新:2021年6月5日

admin

这个人很懒,什么都没留下

打赏 点赞
< 上一篇
下一篇 >

文章评论

您需要 登录 之后才可以评论

COPYRIGHT © 2022 拓扑园. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

鲁ICP备2021020523号

鲁ICP备2021020523号