Zlatan Eevee
Jack of all trades and master of none.
-
Scala字符串插值的妙用,以及java+scala混合编程
一 二 一 我们在项目中遇到一个需求,输入为json字符串,如: { "title": "lrtest", "alg": "LogisticRegression", "params": { "inputTable": "xxx.lrtest3", "labelColumn": "label", "featureColumns": [ {"columnName":"f0","columnType":"Double"}, ...
-
Java虚拟机笔记(3):Java内存模型与线程
Java 内存模型 Java线程 从硬件出发: 1、各处理器有自己的缓存,但当多个处理器涉及的同一块主内存,处理器需要遵循一些一致性协议来操作主内存。Java Memory Model(JMM)与此类似。 2、为了处理器内部的运算单元能够最大化得到利用,处理器可能会对输入代码进行乱序运行优化。Java虚拟机的编译器也有指令重排序的功能。 Java 内存模型 分为整个虚拟机范围的主内存和各个线程的工作内存;线程只能操作自己的工作内存,不能直接操作主内存或其他线程的工作内存(线程间的...
-
Java虚拟机笔记(2):对象分配与回收机制
Java虚拟机内存回收 1、怎么判断对象已死? 内存回收算法 垃圾收集器 内存分配 对象优先分配到Eden区 大对象直接分配到老年代 长期存活对象进入老年代 动态对象年龄判断 内存分配担保 Java虚拟机内存回收 1、怎么判断对象已死? 方法1:引用计数法 道理很简单,GC时查看对象的引用计数,如果引用计数为0,说明孤家寡人一个,回收掉就好...
-
从混杂模式开始说起
一,来龙去脉 二,回头望月 三,亢龙有悔 四,潜龙勿用 一,来龙去脉 最近遇到了一个很weird的问题。我们的生产环境中的mysql使用了docker容器来提供服务,docker容器的网卡通过veth口挂到宿主机的br0(linux bridge),而宿主机的聚合口team0也挂到br0上,具体如下: eno0 -| |-- team0 -- br0 -- vethxxx -- eth0(docker) eno1 -| 但前几天BJ机房掉电,重启后发现宿主机无...
-
Java虚拟机笔记(1):Java内存区域与OOM
Java运行时数据区 程序计数器 Java虚拟机栈 本地方法栈 JAVA堆 方法区 运行时常量池(runtime constant poll) 直接内存 对象访问 问题定位 Java运行时数据区 程序计数器 Java虚拟机栈 本地方法栈 堆 方法区 运行时变量池 直接内存 程序计数器 用来标记该线程下一跳需要执行的指令(类似CPU寄存器的p...
-
国内真实好用的maven镜像
不管是Google还是百度还是必应,去搜“国内maven镜像”,很多老PO文都会告诉你配置成oschina,然而oschina已经关闭了maven镜像服务了,sigh。之前一直忍着用公司搭建的maven镜像,速度倒是很不错,但是这个镜像最大的问题是,MD经常会有一些jar包取不下来,每次都是跟管理员反馈以后等很久才解决,不胜其烦。 这周找到简书上有篇PO文里提到现在阿里云也提供了maven镜像,立马换过来。注意原PO的mirrorOf是central,这样maven只有在包属于central库的时候...
-
Zeppelin:从点击Notebook中一个paragraph的run按钮说起
CSDN上有位同学写了几篇Zeppelin实现的文档,非常详细,对各个组件的用途、重要的类之间的关系、run阶段的详细调用都做了很详实的说明,对我走读代码起到了很大帮助。按照我自己的思路,重新画了一张all in one的图,以备自己后续走读代码使用。读者若想阅读详细的Zeppelin实现,还请移步到上面的链接。
-
Zeppelin配置spark interpreter on yarn
在Spark(五):在Zeppelin中分析IPv4地址的瓜分图中讲解了zeppelin的使用,但是这里的spark是standalone方式跑的,而实际上我们的环境是spark on yarn的,还需要有所修改;另外由于新环境是基于hortonworks的HDP搭的,有所不同,这里简单记录下。 zeppelin官网只是说明要修改spark interpreter的master为yarn-client,但还有些其他问题。 Q1:使用root启动zeppelin,提示无hdfs写入权限 A:切到h...
-
为ndsl换触摸屏
塞尔达(zelda)传说是我最喜欢的游戏,而我唯一完整玩过的是《大地的汽笛》这一款运行在ndsl上的游戏。之后在wii上也有塞尔达传说,但是体验一般,也没有细细把玩。 《塞尔达传说 大地的汽笛》是《塞尔达传说系列》游戏的第15款作品,由任天堂开发制作,在任天堂DS平台上发行。游戏于2009年12月在全球各地陆续上市。 游戏采用了与《风的律动》和《幻影沙漏》相似的卡通式3D画面风格。主角林克搭乘装载有大炮的蒸气火车在游戏的世界中四处移动。 (转自wikipedia) 大地的汽笛号称...
-
kickstart从autopart改为自行分区
背景 在前面如何为linux集群批量装机?这篇文章里介绍了我们的服务器装机流程,其中ks文件中磁盘分区的配置是这样的: # Allow anaconda to partition the system as needed clearpart --all --initlabel autopart ignoredisk --only-use=sda 使用autopart的原因是我们的磁盘容量不一定(可能是400G的ssd,也可能是4T/6T的sata),通过autopart交给anaconda去决...