• kubernets部署备忘

    记录下GFW内k8s的部署流程,备忘。 1、各节点上配置hostname,配置resole.conf echo "titan1" > /etc/hostname sysctl kernel.hostname="titan1" echo "nameserver x.x.x.x" >> /etc/resolv.conf 2、各节点上加k8s的repo cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernete...


  • 谈谈kubernets的service组件的Virtual IP

    Service kube-proxy NodePort k8s的pod可以有多个副本,但是在访问pod时,会有几个问题: 客户端需要知道各个pod的地址 某一node上的pod如果故障,客户端需要感知 为了解决这个问题,k8s引入了service的概念,用以指导客户端的流量。 Service 以下面的my-nginx为例。 pod和service的定义文件如下: [root@localhost k8s]# cat run-my-nginx.yaml apiVe...


  • kubernets的网络插件:flannel

    docker的网络方案 k8s的flannel模式 flannel模式原理 flannel模式:udp vs vxlan 部署及验证 kubernets的网络,从设计上来讲是“扁平、直接”的,即要求: 所有容器可以不使用NAT技术就可以与其他容器通信 所有节点(物理机 虚拟机 容器)都可以不使用NAT同容器通信 容器看到的IP地址和别的机器看到的IP是一致的 docker的网络方案 docker的网络支持如下四种:...


  • Scala字符串插值的妙用,以及java+scala混合编程

    一 二 一 我们在项目中遇到一个需求,输入为json字符串,如: { "title": "lrtest", "alg": "LogisticRegression", "params": { "inputTable": "xxx.lrtest3", "labelColumn": "label", "featureColumns": [ {"columnName":"f0","columnType":"Double"}, ...


  • Java虚拟机笔记(3):Java内存模型与线程

    Java 内存模型 Java线程 从硬件出发: 1、各处理器有自己的缓存,但当多个处理器涉及的同一块主内存,处理器需要遵循一些一致性协议来操作主内存。Java Memory Model(JMM)与此类似。 2、为了处理器内部的运算单元能够最大化得到利用,处理器可能会对输入代码进行乱序运行优化。Java虚拟机的编译器也有指令重排序的功能。 Java 内存模型 分为整个虚拟机范围的主内存和各个线程的工作内存;线程只能操作自己的工作内存,不能直接操作主内存或其他线程的工作内存(线程间的...


  • Java虚拟机笔记(2):对象分配与回收机制

    Java虚拟机内存回收 1、怎么判断对象已死? 内存回收算法 垃圾收集器 内存分配 对象优先分配到Eden区 大对象直接分配到老年代 长期存活对象进入老年代 动态对象年龄判断 内存分配担保 Java虚拟机内存回收 1、怎么判断对象已死? 方法1:引用计数法 道理很简单,GC时查看对象的引用计数,如果引用计数为0,说明孤家寡人一个,回收掉就好...


  • 从混杂模式开始说起

    一,来龙去脉 二,回头望月 三,亢龙有悔 四,潜龙勿用 一,来龙去脉 最近遇到了一个很weird的问题。我们的生产环境中的mysql使用了docker容器来提供服务,docker容器的网卡通过veth口挂到宿主机的br0(linux bridge),而宿主机的聚合口team0也挂到br0上,具体如下: eno0 -| |-- team0 -- br0 -- vethxxx -- eth0(docker) eno1 -| 但前几天BJ机房掉电,重启后发现宿主机无...


  • Java虚拟机笔记(1):Java内存区域与OOM

    Java运行时数据区 程序计数器 Java虚拟机栈 本地方法栈 JAVA堆 方法区 运行时常量池(runtime constant poll) 直接内存 对象访问 问题定位 Java运行时数据区 程序计数器 Java虚拟机栈 本地方法栈 堆 方法区 运行时变量池 直接内存 程序计数器 用来标记该线程下一跳需要执行的指令(类似CPU寄存器的p...


  • 国内真实好用的maven镜像

    不管是Google还是百度还是必应,去搜“国内maven镜像”,很多老PO文都会告诉你配置成oschina,然而oschina已经关闭了maven镜像服务了,sigh。之前一直忍着用公司搭建的maven镜像,速度倒是很不错,但是这个镜像最大的问题是,MD经常会有一些jar包取不下来,每次都是跟管理员反馈以后等很久才解决,不胜其烦。 这周找到简书上有篇PO文里提到现在阿里云也提供了maven镜像,立马换过来。注意原PO的mirrorOf是central,这样maven只有在包属于central库的时候...


  • Zeppelin:从点击Notebook中一个paragraph的run按钮说起

    CSDN上有位同学写了几篇Zeppelin实现的文档,非常详细,对各个组件的用途、重要的类之间的关系、run阶段的详细调用都做了很详实的说明,对我走读代码起到了很大帮助。按照我自己的思路,重新画了一张all in one的图,以备自己后续走读代码使用。读者若想阅读详细的Zeppelin实现,还请移步到上面的链接。