• Spark(四):python编程示例

    环境准备 编码 集群上执行 下面以一个简单的例子,介绍下如何用python编程,并提交到yarn上执行。 环境准备 SparkContext是spark编程的基石,后面的SqlConext等等都是基于SparkContext。它作为python的lib,在pyspark库中提供,同时它还依赖py4j,所以我们要做的第一件事就是修改系统的python路径,把它俩加进去: cd /usr/local/lib/python2.7/dist-packages/ echo "/home/...


  • Spark(三):数据导入

    insert load data Spark提供了thrift server,可以提供HIVE2的JDBC连接。 启动方式: ./sbin/start-thriftserver.sh --master spark://spark1:7077 启动后,可以使用JDBC连接。 insert 我想提供一个传统用户比较友好的SQL操作,使用insert命令插入数据。 beenline方式 下面用beenline简单测试下: ./bin/beenline beeline> ...


  • HBase分布式部署(三)

    安装HDFS 安装HBASE 数据导入HBASE 当前环境HBASE全分布式部署,使用外置ZK。由于全分布式部署,要求底层存储必须使用HDFS,不能像standalone那样使用本地文件。注意由于部署的时候没有做记录,可能有所疏漏。 安装HDFS HDFS/YARN等都打在hadoop一个包中,不是单独的一个包。我这里只是部署了一个简单的HDFS集群,没有考虑name node的HA问题。我用的是HADOOP 2.6.3。另外我仍然还没有配置yarn。 部署基本参考了 这篇文章...


  • Spark(二):Standalone和YARN方式部署集群

    1 环境 2 部署 2.1 单独启动 2.2 集中启动 2.3 验证 2.4 资源调度 3 HA 3.1 配置ZK 3.2 配置master 3.3 检验HA 4 Spark on YARN Spark有三种集群部署方式: standalone mesos yarn 其中standalone方式部署最为简单,下面做一下简单的记录。...


  • 搭建私有docker registry

    1 准备registry镜像 1.1 下载registry包,解压并build 1.2 启动registry容器 2 使用私有registry服务 2.1 检查私有registry服务是否正常 2.2 上传镜像到私有registry 2.3 从私有registry里拖镜像 2017-04-07:推荐使用VMWare的Harbor,方便易用,基本可以获得跟Docker Hub接...


  • HBase系列之数据模型(二)

    表 行 列 Column Famliy Column Qulifier Cell NameSpace 逻辑视图 物理视图 数据操作 VERSIONS ACID 说说HBase里的数据模型。我们可以使用RDBMS的术语来描述HBase,但并不准确;更好的做法是把HBase当做一个多维Map。下面会以hbase shell的操作为例来介绍HBase的数据模型,当然你也可以用java。 我用的HBase的版本是1....


  • Oracle GoldenGate介绍及并发配置说明

    背景介绍 整体架构 ADS插件 性能调优 并发详解 背景介绍 随着数据收集的手段不断丰富,数据量也随之增大,而针对这些数据的分析需求也越来越旺盛,旧的RDBMS数据库(如oracle),可能无法承受OLAP的需求;而完全将这些数据迁移到bigdata的方案上,又很难满足ACID等需求。通常比较折衷的方案是,OLTP的应用仍然使用旧的oracle数据库,而OLAP的应用使用bigdata方案,例如hadoop、阿里云ADS等。有的人将这种方案形象...


  • Greenplum上手报告

    简介 安装 HA 使用 特性 1. Append only table 2. column oriented table(列存表) 3. Append only table可以压缩 4. 分区表(partition) 5. 数据可以重分布 查询详解 1. 最简单的全表scan、聚合、motion。 2. 根据分区列做聚合 3. 非分区列做聚合 ...


  • Redis单机版体验

    介绍 安装 使用 编码 接触到Redis是因为某天同事告诉说我的某集群里的一台服务器的redis服务有未授权漏洞,可以直接访问redis服务,甚至将自己的公钥写入该用户的~/.ssh/authorized_keys中,直接登录到该服务器上。 这个漏洞其实是很早之前就有,具体可以参照阿里云上的介绍。 介绍 Redis的几个特点: 内存key-value数据库,性能很好;也可以将数据持久化到磁盘中,不过想来不会太美 开源,使用c编码,总共40K+ 数据可以复制到任...


  • 反向过滤是个什么鬼?

    1.背景介绍 2.解决方法 2.1 粗暴的解决方法 2.2 正确的解决方法 2.2.1 配置方法 2.2.2 代码解析 1.背景介绍 场景跟前面提到的fullnat是一样的。 如下组网,ADS集群内存在计算节点1(10.0.103.96)写sysdb保存数据的情景;而sysdb的服务器可能在计算节点2(10.0.103.97)、计算节点3(10.0....