• Spark(二):Standalone和YARN方式部署集群

    1 环境 2 部署 2.1 单独启动 2.2 集中启动 2.3 验证 2.4 资源调度 3 HA 3.1 配置ZK 3.2 配置master 3.3 检验HA 4 Spark on YARN Spark有三种集群部署方式: standalone mesos yarn 其中standalone方式部署最为简单,下面做一下简单的记录。...


  • 搭建私有docker registry

    1 准备registry镜像 1.1 下载registry包,解压并build 1.2 启动registry容器 2 使用私有registry服务 2.1 检查私有registry服务是否正常 2.2 上传镜像到私有registry 2.3 从私有registry里拖镜像 2017-04-07:推荐使用VMWare的Harbor,方便易用,基本可以获得跟Docker Hub接...


  • HBase系列之数据模型(二)

    表 行 列 Column Famliy Column Qulifier Cell NameSpace 逻辑视图 物理视图 数据操作 VERSIONS ACID 说说HBase里的数据模型。我们可以使用RDBMS的术语来描述HBase,但并不准确;更好的做法是把HBase当做一个多维Map。下面会以hbase shell的操作为例来介绍HBase的数据模型,当然你也可以用java。 我用的HBase的版本是1....


  • Oracle GoldenGate介绍及并发配置说明

    背景介绍 整体架构 ADS插件 性能调优 并发详解 背景介绍 随着数据收集的手段不断丰富,数据量也随之增大,而针对这些数据的分析需求也越来越旺盛,旧的RDBMS数据库(如oracle),可能无法承受OLAP的需求;而完全将这些数据迁移到bigdata的方案上,又很难满足ACID等需求。通常比较折衷的方案是,OLTP的应用仍然使用旧的oracle数据库,而OLAP的应用使用bigdata方案,例如hadoop、阿里云ADS等。有的人将这种方案形象...


  • Greenplum上手报告

    简介 安装 HA 使用 特性 1. Append only table 2. column oriented table(列存表) 3. Append only table可以压缩 4. 分区表(partition) 5. 数据可以重分布 查询详解 1. 最简单的全表scan、聚合、motion。 2. 根据分区列做聚合 3. 非分区列做聚合 ...


  • Redis单机版体验

    介绍 安装 使用 编码 接触到Redis是因为某天同事告诉说我的某集群里的一台服务器的redis服务有未授权漏洞,可以直接访问redis服务,甚至将自己的公钥写入该用户的~/.ssh/authorized_keys中,直接登录到该服务器上。 这个漏洞其实是很早之前就有,具体可以参照阿里云上的介绍。 介绍 Redis的几个特点: 内存key-value数据库,性能很好;也可以将数据持久化到磁盘中,不过想来不会太美 开源,使用c编码,总共40K+ 数据可以复制到任...


  • 反向过滤是个什么鬼?

    1.背景介绍 2.解决方法 2.1 粗暴的解决方法 2.2 正确的解决方法 2.2.1 配置方法 2.2.2 代码解析 1.背景介绍 场景跟前面提到的fullnat是一样的。 如下组网,ADS集群内存在计算节点1(10.0.103.96)写sysdb保存数据的情景;而sysdb的服务器可能在计算节点2(10.0.103.97)、计算节点3(10.0....


  • 如何使用kettle提高ADS插入速度

    背景介绍 解决方法 服务器端 客户端 设置方式 背景介绍 我们需要从kettle将数据导入到ADS,但导入性能不理想,32并发线程,单个ADS接入节点,也只有最多六七千条每秒的样子。 从kettle日志来分析,其抽取机制是每个线程先从源端读取5W条,然后再向目的端写入5W条。 2015/12/15 10:38:30 - step1.0 - linenr 900000 2015/12/15 10:38:54 - step2....


  • Fullnat系列(三):为什么经过fullnat了以后,select查询变慢了呢?

    问题1:为什么会有超过1500的大包? 问题2:为什么超过mtu的报文,LVS返回了ICMP差错报文? 问题3:为什么我们实验室的环境并没有出现这个问题? 问题现象是这样的:我们在客户的环境上,通过LVS设备访问ADS的时候,发现在对一个宽表select * from查询时,响应的时间很规律的发生的倍增: 1 row in set (0.22 sec) 1 row in set (0.42 sec) 1 row in set (0.83 sec) 1 row in set (1.6...


  • Fullnat系列(二):如何使用fullnat

    内核打fullnat补丁 编译安装keepalived和ipvsadm 编译、安装keepalived(下面是从LVS官网抄的) 编译、安装ipvsadm(下面也是从LVS官网抄的) fullnat使用 添加Real Server 添加、查看Local Address 如果要让你的服务器支持fullnat,需要如下修改: 内核打阿里开源的fullnat补丁 使用ali开源的ke...