• 国内真实好用的maven镜像

    不管是Google还是百度还是必应,去搜“国内maven镜像”,很多老PO文都会告诉你配置成oschina,然而oschina已经关闭了maven镜像服务了,sigh。之前一直忍着用公司搭建的maven镜像,速度倒是很不错,但是这个镜像最大的问题是,MD经常会有一些jar包取不下来,每次都是跟管理员反馈以后等很久才解决,不胜其烦。 这周找到简书上有篇PO文里提到现在阿里云也提供了maven镜像,立马换过来。注意原PO的mirrorOf是central,这样maven只有在包属于central库的时候...


  • Zeppelin:从点击Notebook中一个paragraph的run按钮说起

    CSDN上有位同学写了几篇Zeppelin实现的文档,非常详细,对各个组件的用途、重要的类之间的关系、run阶段的详细调用都做了很详实的说明,对我走读代码起到了很大帮助。按照我自己的思路,重新画了一张all in one的图,以备自己后续走读代码使用。读者若想阅读详细的Zeppelin实现,还请移步到上面的链接。


  • Zeppelin配置spark interpreter on yarn

    在Spark(五):在Zeppelin中分析IPv4地址的瓜分图中讲解了zeppelin的使用,但是这里的spark是standalone方式跑的,而实际上我们的环境是spark on yarn的,还需要有所修改;另外由于新环境是基于hortonworks的HDP搭的,有所不同,这里简单记录下。 zeppelin官网只是说明要修改spark interpreter的master为yarn-client,但还有些其他问题。 Q1:使用root启动zeppelin,提示无hdfs写入权限 A:切到h...


  • 为ndsl换触摸屏

    塞尔达(zelda)传说是我最喜欢的游戏,而我唯一完整玩过的是《大地的汽笛》这一款运行在ndsl上的游戏。之后在wii上也有塞尔达传说,但是体验一般,也没有细细把玩。 《塞尔达传说 大地的汽笛》是《塞尔达传说系列》游戏的第15款作品,由任天堂开发制作,在任天堂DS平台上发行。游戏于2009年12月在全球各地陆续上市。 游戏采用了与《风的律动》和《幻影沙漏》相似的卡通式3D画面风格。主角林克搭乘装载有大炮的蒸气火车在游戏的世界中四处移动。 (转自wikipedia) 大地的汽笛号称...


  • kickstart从autopart改为自行分区

    背景 在前面如何为linux集群批量装机?这篇文章里介绍了我们的服务器装机流程,其中ks文件中磁盘分区的配置是这样的: # Allow anaconda to partition the system as needed clearpart --all --initlabel autopart ignoredisk --only-use=sda 使用autopart的原因是我们的磁盘容量不一定(可能是400G的ssd,也可能是4T/6T的sata),通过autopart交给anaconda去决...


  • 国内 docker 仓库镜像对比

    选择负一 选择零:网易163 docker镜像 选择一:ustc的镜像 选择二:daocloud 选择三:alicloud 首先,需要明确一个问题:Mirror 与 Private Registry 有什么区别? 抄自daocloud的说明: 二者有着本质的差别。 Private Registry 是开发者或者企业自建的镜像存储库,通常用来保存企业内部的 Docker 镜像,用于内部开发流程和产品的发布、版本控制。 Mirror 是一种代理中转服务,我们(指daoclo...


  • Google Guice的动机

    动机 直接构造函数调用(Direct constructor calls) Factories 依赖注入 Dependency Injection with Guice 原文地址: Google Guice Motivation 这篇文章捋了下Google Guice造轮子的思路,举了一个很具体的例子,深入浅出,对理解为什么要有依赖注入很有帮助。 Google Guice是一个类似Spring的DI框架,优点是简单,轻量级,快。Google Guice和Spring的对比...


  • 如何为linux集群批量装机?

    rest服务(snservice) 命令行工具 kickstart配置IP 如何为linux集群批量装机? U盘安装?古老的光盘安装?一两台还可以勉强接受,机器一多,时间会很长,还特别费工夫。对于服务器来说,一般考虑的方法是PXE安装,然后搭配kickstart自动装机。整个过程如下图: 实战中我们可以使用cobbler做集中管理,对cobbler的搭建感兴趣可以参考Setup PXE Boot Environment Using Cobbler On CentOS 6.5,...


  • 为什么不用RAID-0呢?这关于时间和雪花

    JBOD和RAID-0的诱惑 可靠性 每个磁盘是一个独特的雪花 总结 更新:单驱动器RAID-0 原文地址,机器+人工翻译。 作者:史蒂夫洛克伦 在各种Hadoop的邮件列表中反复出现的问题是:“为什么Hadoop倾向于使用一组分离的磁盘,而不是将这些磁盘组成RAID-0阵列再使用?” 这是关于时间和雪花。 JBOD和RAID-0的诱惑 在Hadoop集群,我们建议以一种已知的,蔑称为“JBOD”(Just a Box of Disks)的配置来分别对待每个磁盘。这...


  • freeIPA中kerberos跟LDAP是怎么交互的?

    freeIPA的会包含下面2个组件: LDAP Server - based on the 389 project (LDAP) http://directory.fedoraproject.org/wiki/Main_Page KDC - based on MIT Kerberos implementation http://k5wiki.kerberos.org/wiki/Main_Page 注意LDAP Server用的不是openLDAP,而是R...