Zlatan Eevee

insert load data Spark提供了thrift server，可以提供HIVE2的JDBC连接。 启动方式： ./sbin/start-thriftserver.sh --master spark://spark1:7077 启动后，可以使用JDBC连接。 insert 我想提供一个传统用户比较友好的SQL操作，使用insert命令插入数据。 beenline方式 下面用beenline简单测试下： ./bin/beenline beeline> ...

安装HDFS 安装HBASE 数据导入HBASE 当前环境HBASE全分布式部署，使用外置ZK。由于全分布式部署，要求底层存储必须使用HDFS，不能像standalone那样使用本地文件。注意由于部署的时候没有做记录，可能有所疏漏。 安装HDFS HDFS/YARN等都打在hadoop一个包中，不是单独的一个包。我这里只是部署了一个简单的HDFS集群，没有考虑name node的HA问题。我用的是HADOOP 2.6.3。另外我仍然还没有配置yarn。 部署基本参考了 这篇文章...

1 环境 2 部署 2.1 单独启动 2.2 集中启动 2.3 验证 2.4 资源调度 3 HA 3.1 配置ZK 3.2 配置master 3.3 检验HA 4 Spark on YARN Spark有三种集群部署方式： standalone mesos yarn 其中standalone方式部署最为简单，下面做一下简单的记录。...

1 准备registry镜像 1.1 下载registry包，解压并build 1.2 启动registry容器 2 使用私有registry服务 2.1 检查私有registry服务是否正常 2.2 上传镜像到私有registry 2.3 从私有registry里拖镜像 2017-04-07：推荐使用VMWare的Harbor，方便易用，基本可以获得跟Docker Hub接...

表 行 列 Column Famliy Column Qulifier Cell NameSpace 逻辑视图 物理视图 数据操作 VERSIONS ACID 说说HBase里的数据模型。我们可以使用RDBMS的术语来描述HBase，但并不准确；更好的做法是把HBase当做一个多维Map。下面会以hbase shell的操作为例来介绍HBase的数据模型，当然你也可以用java。 我用的HBase的版本是1....

背景介绍 整体架构 ADS插件 性能调优 并发详解 背景介绍 随着数据收集的手段不断丰富，数据量也随之增大，而针对这些数据的分析需求也越来越旺盛，旧的RDBMS数据库（如oracle），可能无法承受OLAP的需求；而完全将这些数据迁移到bigdata的方案上，又很难满足ACID等需求。通常比较折衷的方案是，OLTP的应用仍然使用旧的oracle数据库，而OLAP的应用使用bigdata方案，例如hadoop、阿里云ADS等。有的人将这种方案形象...

简介 安装 HA 使用 特性 1. Append only table 2. column oriented table(列存表) 3. Append only table可以压缩 4. 分区表(partition) 5. 数据可以重分布 查询详解 1. 最简单的全表scan、聚合、motion。 2. 根据分区列做聚合 3. 非分区列做聚合 ...

介绍 安装 使用 编码 接触到Redis是因为某天同事告诉说我的某集群里的一台服务器的redis服务有未授权漏洞，可以直接访问redis服务，甚至将自己的公钥写入该用户的~/.ssh/authorized_keys中，直接登录到该服务器上。 这个漏洞其实是很早之前就有，具体可以参照阿里云上的介绍。 介绍 Redis的几个特点： 内存key-value数据库，性能很好；也可以将数据持久化到磁盘中，不过想来不会太美 开源，使用c编码，总共40K+ 数据可以复制到任...

1.背景介绍 2.解决方法 2.1 粗暴的解决方法 2.2 正确的解决方法 2.2.1 配置方法 2.2.2 代码解析 1.背景介绍 场景跟前面提到的fullnat是一样的。 如下组网，ADS集群内存在计算节点1（10.0.103.96）写sysdb保存数据的情景；而sysdb的服务器可能在计算节点2（10.0.103.97）、计算节点3（10.0....

背景介绍 解决方法 服务器端 客户端 设置方式 背景介绍 我们需要从kettle将数据导入到ADS，但导入性能不理想，32并发线程，单个ADS接入节点，也只有最多六七千条每秒的样子。 从kettle日志来分析，其抽取机制是每个线程先从源端读取5W条，然后再向目的端写入5W条。 2015/12/15 10:38:30 - step1.0 - linenr 900000 2015/12/15 10:38:54 - step2....