2020-06-04-大数据跑数失败分析解决

1、早上跑数失败

2、查看数据节点，发现datanode失败，namenode失败

3、尝试重启节点，namenode重启成功，但datanode仍然报错

datanode节点是172.18.2.40服务器

4、查看datanode日志

（1）发现/data2/dfs/dn有问题，无法写入

（2）进入/data2目录，尝试创建文件，报错：read-only file system;找到问题原因，需要修复硬盘

5、解决问题：

（1）停止此节点的所有服务

（2）umount /data2,并fsck 修复

（3）修复过程，一路回车即可

（4）修复完成，重新挂载/data2

（5）重启服务器，这一步尽量做，之前修复过，没有重启服务器，第二天又出现了。

（6）重启数据节点并查看角色，服务启动成功

（7）1-2小时候，又出现此问题，最终在IPMI底层导出日志给联想人员时，发现IPMI管理BMC，有些不正常，让信息化人员现场关机断电这台系统，让BMC重新启动，再手动挂载/data2中，早上10点到下午16点正常。

（8）24小时候观察，依然正常