• 记录一次事故处理50%kudu表无法进行正常访问测试环境kudu集群事故,影响:测试效果,测试进度,生产发布延迟,需警惕,特此写出过程操作需谨慎!操作需谨慎!操作需谨慎!任务环境都要以生产环境而对待!事故原因:昨天于上午10点,业务说kudu表无法使用后,影响测试,无法正常发布。去scm平台发现kudu_tablet挂了5台运维查看信息日志后,做近一步处理1.重启kudu—tablet发现无法启动
    大数据陈浩 专栏作者

    发布于:2020-12-21 15:27:43

  • prometheus+grafana对flink进行监控标签(空格分隔):flink系列一:flink监控简介二:Flink的Metric架构三:prometheus+grafana的对flink的监控部署构建一:flink监控简介1.1前言Flink提供的Metrics可以在Flink内部收集一些指标,通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况,跑得慢
    flyfish225

    发布于:2020-12-18 09:37:32

  • CDH6.3.2集成Freeipa的kerberos标签(空格分隔):大数据运维专栏一:系统环境二:CDH6.3.2集成freeipa的Kerberos一:系统环境1.2系统配置要求大数据的所有主机注入到FreeIPA当中cdh最低版本为CDH6.3.2版本二:CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf-
    flyfish225

    发布于:2020-12-16 09:29:59

  • 可能是Hadoop hdfs mapreduce最亲民的介绍
    删库到跑路

    发布于:2020-10-29 21:14:14

  • 大数据PAZR集成ldap实操!what? p:presto a:allixop z:zeppelin r:rancher
    大数据陈浩 专栏作者

    发布于:2020-07-07 17:45:03

  • 1HDFS概述1.1HDFS产出背景及定义随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS(HadoopDistributedFileSystem),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式
    giverpg

    发布于:2019-09-07 00:55:36

    阅读 10000+ 评论 0 收藏 5 赞赏 1
  • 大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例
    xpleaf

    发布于:2018-04-08 22:36:04

    阅读 10000+ 评论 152 收藏 32 赞赏 2
  • 详解linux运维工程师高级篇(大数据安全方向)
    大数据陈浩 专栏作者

    发布于:2018-02-07 18:57:15

    阅读 10000+ 评论 10 收藏 20
  • Zeppelin启用https过程和Hack内核以满足客户需求的记录。原因是这客户很有意思,该客户中国分公司的人为了验证内网安全性,从国外找了一个***测试小组对Zeppelin和其他产品进行***测试,结果发现Zeppelin主要俩问题,一个是在内网没用https,一个是zeppelin里面可以执行shell命令和python语句。其实这不算大问题,zeppelin本来就是干这个用的。但是***小组不
    Slaytanic

    发布于:2017-11-02 19:25:32

    阅读 10000+ 评论 3 收藏 0
  •     已经有一段时间没有更新实践内容了,不是因为没有在学习。而是工作上出现一个新的挑战,又在忙论文查重,论文也是大数据方向的,主要是ICT方向的一个技术(若有人感兴趣,我会另开一个帖子来详细谈这个内容)。    而且最近,把之前所有的实践环境换了一台电脑来重新搭建。按理说会很顺利,但没想到,还是出了许多问题。一些简单的问题就直接解决了,但仍是有两
    bingyang87628

    发布于:2017-09-26 23:24:31

    阅读 10000+ 评论 1 收藏 1
  • 快一年没写博客了,终于回来了,最近因公司业务需要,要基于cdh发行版打包自定义patch的rpm,于是又搞起了bigtop,就是那个hadoop编译打包rpm和deb的工具,由于国内基本没有相关的资料和文档,所以觉得有必要把阅读bigtop源码和修改的思路分享一下。我记得很早以前,bigtop在1.0.0以前版本吧,是用make进行打包的,其实这个0.9.0以前的版本,搁我觉得就不应该出现在apa
    Slaytanic

    发布于:2016-12-30 15:22:50

    阅读 10000+ 评论 3 收藏 0
  • 本文主要介绍了hadoop源码中hdfs的INodeReference机制。在hdfs2.6版本中,引入了许多新的功能,一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中,并且这个文件或者目录被重命名或者移动到其他路径时,该文件或者目录就会存在多条访问路径。INodeReference就是为了解决这个问题产生的。问题描述/a是hdfs中的
    yushaoqing

    发布于:2016-07-07 00:27:38

    阅读 10000+ 评论 0 收藏 1
  • 前言:通常情况下,我们将Kafka的日志数据通过logstash订阅输出到ES,然后用Kibana来做可视化分析,这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析,通常比较常用的是实时分析,日志存个十天半个月都会删掉。那么在一些情况下,我需要将日志数据也存一份到我HDFS,积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最简单的通过logstash将kafka中
    酱酱酱子啊

    发布于:2016-07-06 11:18:14

    阅读 10000+ 评论 6 收藏 1
  • Hadoop+zookeepker安装与配置: 在hadoop-env.sh中添加export JAVA的环境变量修改hostname文件的名称,/etc/hosts文件配置主机名和ip的映射关系,将mstaer,slave的主机名和ip地址都添加进来 配置ssh免密钥配置Ssh-keygen –t rsa在./.ssh文件中生成两个文件id_rsa(私钥),id_rsa.pu
    gdutccd

    发布于:2016-02-05 11:38:09

  • 上个月通过email,帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题,记录一下。
    Slaytanic

    发布于:2015-11-13 19:00:35

    阅读 10000+ 评论 5 收藏 0
  • 以前很多业务都是用scribe做日志收集的支撑的,后来fb停止了对scribe的开发支持。而且scribe在机器上编译一次的代价太大了,各种坑,正好后来flume从1.3.0开始加入了对scribe的支持。就可以把原来scribe上面接入的数据转用flume收集了。虽然我很喜欢scribe,但是失去了官方支持毕竟还是很闹心的。agent.channels=c1 agent.channels.c1.
    Slaytanic

    发布于:2015-07-13 14:50:53

    阅读 10000+ 评论 1 收藏 0
  •     单位有一组业务一直都是使用Streaming压缩文本日志,大体上就是设置作业输出为BZ2格式,怎么输入就怎么输出,没有任何处理功能在里面。但是每行结尾都多出来一个TAB。终于,有一个业务需要使用TAB前的最后一个字段,不去掉不行了。    虽然是个小问题,但是网上搜了一圈,也没有很好的解决。很多人都遇到了,但是单位的业务比较特殊,只有map没有red
    superpopb2b

    发布于:2015-01-10 23:45:27

    阅读 10000+ 评论 0 收藏 0
  •   在hadoop中很多地方都用到了servlet,并且使用jetty作为servlet的容器来提供http的服务,其主要是通过org.apache.hadoop.http.HttpServer类实现的,HttpServer类是对Jetty的简单封装,通过调用HttpServer类的addServlet方法增加可以实现增加servlet到jetty的功能:  publ
    菜菜光

    发布于:2014-12-22 21:57:20

  • 从本地到hdfs的并发脚本相关说明及代码实现。
    上官战

    发布于:2014-12-14 16:09:08

    阅读 10000+ 评论 3 收藏 0
  • 利用开源的日志收集系统fluentd,把日志写入到HDFS文件系统中!
    shine_forever

    发布于:2014-12-04 16:27:46

    阅读 10000+ 评论 0 收藏 0
  •     HDFS Federation是为解决HDFS单点故障而提出的NameNode水平扩展方案,该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念,block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block
    wangxucumt

    发布于:2014-11-25 11:23:18

  •     在DataNode的本地存储空间上,与存储服务密切相关的,比如创建数据块,恢复数据块,数据块校验等相关的代码都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代码版本CDH5.1)    首先说下org.apache.hadoop.hdfs.server.
    wangxucumt

    发布于:2014-11-12 10:36:04

  • 利用pig分析cdn访问日志,找到指定时间段内,各个url访问次数,并且按照从大到小的次序排列!
    shine_forever

    发布于:2014-11-03 09:55:03

    阅读 10000+ 评论 2 收藏 0
  •         线上某个hive job运行失败,报错如下    Container [pid=28474,containerID=container_1411897705890_0181_01_000012] is running bey
    wangxucumt

    发布于:2014-10-24 14:27:40

  •   线上使用zabbix的host update来监测监控值是否完整(关于host update的实现请参考:http://sb138.99sbgw.com/1652935/1345789)一直发现有机器过一段时间update值就会莫名其妙变低,之前一直没有找到rc,只是简单通过重启agent来进行修复,最近同事细心地发现可能是和sudo的bug有关系。回过头再来
    菜菜光

    发布于:2014-10-22 23:53:02

  • sqoop是hadoop项目中一个插件,可以把分布式文件系统hdfs中内容导入到mysql指定表里面,也可以把mysql中内容导入到hdfs文件系统中进行后续操作。测试环境说明:hadoop版本:hadoop-0.20.2sqoop版本:sqoop-1.2.0-CDH3B4java版本:jdk1.7.0_67mysql版本:5.1.65特别说明:因为我安装的是hadoop-0.20.2版本,sqo
    shine_forever

    发布于:2014-10-22 16:41:47

  • 你用pig分析web访问日志demo
    shine_forever

    发布于:2014-10-14 13:52:43

  • 一、概述    之前写过一篇非常详细的,利用QJM在HDFS2.0部署HA策略的文章,主要说了利用QJM进行HA部署以及其原理(http://sb138.99sbgw.com/8219051/1441170 )。但是,其中没有详细描述HADOOP2.x通过QJM部署HA完毕之后,ActiveNamenode和StandbyN
    zengzhaozheng

    发布于:2014-10-09 11:06:28

  • 一、概述    这2个月研究根据用户标签情况对用户的相似度进行评估,其中涉及一些推荐算法知识,在这段时间研究了一遍《推荐算法实践》和《Mahout in action》,在这里主要是根据这两本书的一些思想和自己的一些理解对分布式基于ItemBase的推荐算法进行实现。其中分两部分,第一部分是根据共现矩阵的方式来简单的推算出用户的推荐项,第二部分则是通过传统的
    zengzhaozheng

    发布于:2014-09-22 18:40:29

    阅读 10000+ 评论 4 收藏 0
  • 一、概述    Hadoop的版本更新挺快的,已经到了2.4,但是其周边工具的更新速度还是比较慢的,一些旧的周边工具版本对hadoop2.x的兼容性做得还不完善,特别是sqoop。最近,在为hadoop2.2.0找适合的sqoop版本时遇到了很多问题。尝试了多个sqoop1.4.x版本的直接简单粗暴的报版本不兼容问题,其中测了sqoop-1.4.4.bin_
    zengzhaozheng

    发布于:2014-08-15 15:51:20

推荐作者 更多
最新热评文章
51cto_blog:您的许多公式都没有展示出哦~
51cto_blog:博主大大,您的内容很优秀,如果整体更系统一些,公式都显示出来,会容易上推荐哦~
cisco_learner:大佬666
wx5fa649a288d1f:希望对您有帮助
写文章 申博娱乐现金网
网站地图 申博app下载 澳门博彩公司 菲律宾太城申博 申博官方网址
申博游戏注册 www.1388msc.com 申博手机投注 菲律宾欧博娱乐网站
ag娱乐登入 申博娱乐官网 申博太阳城登入 申博娱乐开户
申博游戏登入不了 申博太阳城登入 百家乐真人游戏 申博现金百家乐
申博 星级百家乐 申博网址 网上百家乐