• MapReduce具体问题(一)

    MapReduce比较基础,但是经常会有一些问题不是很清楚,这一系列文章会解答几个经常问的问题。 本文解答第一个问题:是谁决定要起几个Map任务?在什么阶段呢? 还是以wordcount为例。 wordcount客户端在初始化job后调用Job.waitForCompletion方法就结束了,真正提交Job给Yarn的在MapReduce客户端代码的submit里做的。 public boolean waitForCompletion(boolean verbose ...


  • 读书笔记:hive简介(一)

    1 安装 1.1 hive外壳环境 1.2 示例 2 hive运行解析 2.1 配置 2.2 日志 2.3 hive服务端 2.4 客户端 2.5 metastore 3 与传统数据库比较 3.1 读时模式 vs 写时模式 3.2 更新、事务和索引 4 HiveQL Hive是一个运行在hadoop之上...


  • Hadoop文件系统:HDFS

    1 概述 2 架构 块 文件访问权限 3 文件读取 3.1 访问接口 3.2 客户端读取HDFS过程 4 文件写入 6 Fedoration 7 小文件解决方案 8 distcp 1 概述 HDFS应用场景:存储超大型流式处理数据(Terabytes和Petabytes级别)。 总的来说,HDFS的特点有这么几个: “write once, read many”,只...


  • Spark(一):介绍、初体验

    1 介绍 2 安装 3 核心:RDD 4 基本架构 5 Quick start 5.1 spark shell 5.2 Self-Contained Applications 1 介绍 Spark是一个快速、通用的集群计算系统,提供JAVA/Scala/Python API,以及一系列的高级工具:Spark SQL/MLib/GrapyX/Spark Streaming. Spark的编程语言是scala,同样采用scala的还...


  • 流式计算框架Storm介绍

    1 背景:MR的问题 2 Storm的优势 3 编程模型 3.1 wordcount示例 4 基本架构 5 记录级容错 1 背景:MR的问题 启动时间长。多采用pull模型,没有JVM缓存池 调度开销大 中间数据写磁盘 storm的出现,可以比较好的解决上面的问题。 2 Storm的优势 实时计算、流式计算。水管不停的产生数据,流向中间的螺栓(处理逻辑)。 Storm出现之前的解决方法:消息队列,读取消息队列,更新数据...


  • 笔记:DAG计算框架Tez

    1 介绍 2 数据处理引擎 2.1 6种应用程序接口: 2.2 数据处理引擎 3 DAG编程模型 4 Tez带来的优化技术 5 总结 6 示例 1 介绍 目前的问题:如果作业由多个MR任务完成,则必然经过多次完整的Map–shuffer–Reduce,中间节点的数据多次写入HDFS,浪费IO读写。(可以将HDFS理解为多个任务之间的共享存储。)Tez的引入可以较小的代价的解决这一问题。 Tez采用了DAG(有向无环图)来组...


  • hadoop数据传输工具:Sqoop

    1 简介 2 工具 2.1 直接查看数据库、表 2.2 将数据库导入import到hdfs 2.4 生成代码 1 简介 sqoop可以用来在hdfs和关系型数据(如mysql, Oracle, PostgreSQL)之间交换数据,也可以作为异构数据库之间同步使用。 sqoop通过JDBC(Java Data Base Connectivity,java数据库连接)与数据库交互,整合了Hive/HBase和oozie,核心是Map...


  • python学习作业(一)

    这个系列记录Python小组学习过程中完成的作业,python用的很不熟,希望做作业的过程中有进步。 本次作业题目: 代码 城市 CHXX0008 北京 CHXX0044 杭州 CHXX0116 上海 CHXX0502 海口 CHXX003...


  • yarn(二):distributedShell和Unmanaged AM示例代码解析

    一 示例执行 二 Client解析 1 创建Client对象 2 初始化 3 运行 三 Application Master解析 1 设置RM、NM消息的异步处理方法 2 向RM注册 3 计算需要的Container,向RM发起请求 4 RM分配Container给AM,AM启动任务 四 UnmanagedAM hadoop源码中,使用yarn的应用...


  • 笔记:mesos简介

    1 概述 1.1 mesos组件 1.2 资源 2 底层通信协议 3 mesos四大服务: 4 资源分配策略 5 容错机制 6 应用实例 7 mesos与YARN对比 1 概述 来自著名的加州大学伯克利分校,解决多样化环境里资源隔离和分享的问题。官网的介绍非常形象: Program against your datacenter like it’s a single pool of resources mesos源码...