• 一、概述    Ha,已经有两个月没有更新blog了。由于近排公司需要引入Spark相关技术,我也是作为技术攻关人员之一,在这段时间使用Spark遇到了挺多问题,跌的坑也比较多,这篇blog主要总结一下这段时间使用Spark遇到的一些问题。二、遇到的"坑"和爬坑思路1、SparkSql on yarn-client模式遇到找不到mysql驱动包问题。解决方案
    zengzhaozheng

    发布于:2014-12-30 18:31:36

    阅读 10000+ 评论 4 收藏 1
  •   最近线上的的nm 有crash的问题,查看错误日志:2014-06-19 00:01:22,308 FATAL org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService: Error: Shutting&nbs
    菜菜光

    发布于:2014-12-07 13:36:05

  •   在yarn中对 yarn.nodemanager.local-dirs的状态更新操作,定义在 LocalDirsHandlerService(org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService)相关类中,在nm启动时,会启动一个LocalDirsHandlerService服务,循环检
    菜菜光

    发布于:2014-12-01 23:39:49

    阅读 10000+ 评论 0 收藏 0
  • upgrade小结:1.dfsadmin -upgradeProgress status 在cdh5.2.0中没有,在4.6.0有(见源码org.apache.hadoop.hdfs.tools.DFSAdmin)升级的时候不能通过这个看到升级状态rollingUpgrade这个参数在4.6.0中不存在,在5.2.0中有,可以用于滚动升级2.在cdh5.2.0中执行upgrade,nn中调用的命令
    菜菜光

    发布于:2014-11-19 23:22:36

  • 今天收到线上的resource manager报警:报错信息如下:2014-07-08 13:22:54,118 INFO org.apache.hadoop.yarn.util.AbstractLivelinessMonitor: Expired:xxxx:53356 Timed out after 600 
    菜菜光

    发布于:2014-07-08 22:59:06

    阅读 10000+ 评论 0 收藏 0
推荐作者 更多
最新热评文章
51cto_blog:您的许多公式都没有展示出哦~
51cto_blog:博主大大,您的内容很优秀,如果整体更系统一些,公式都显示出来,会容易上推荐哦~
cisco_learner:大佬666
wx5fa649a288d1f:希望对您有帮助
写文章 申博娱乐现金网
网站地图 申博138 申博官网 星级百家乐 申博登入网址
菲律宾太阳娱乐官方网址 www.138.bo 百家乐微信支付充值 申博官方网址
太阳城代理 百家乐真人游戏 申博现金网 申博手机版
申博直营现金网 盛618网址 申博会员登入 申博138
捕鱼游戏 ag真人娱乐 太阳城app下载 真钱百家乐