从v1.11开始,kubernetes默认开启resize feature 和 PersistentVolumeClaimResize admission controller,如果用户创建的存储卷容量不够,可以进行扩容,原有数据不会丢失。目前支持resize的存储卷AWS-EBS, GCE-PD, Azure Disk, Azure File, Glusterfs, Cinder, Portworx, 以及 Ceph RBD。其中:

  • 块文件系统,如 GCE-PD, AWS-EBS, Azure Disk, Cinder, and Ceph RBD 需要文件系统扩容。当Pod重启时,k8s会自动完成扩容的工作
  • NAS文件系统,如 Glusterfs and Azure File) 不需要重启Pod,因为他们不需要文件系统扩容

以下以基于Ceph RBD的Storage class为例,具体说明PVC扩容功能。

1、扩容前准备

1、管理员需要配置storage class,开启允许扩容选项 allowVolumeExpansion

allowVolumeExpansion: true
kind: StorageClass
metadata:
  name: sata

2、制作 kube-controller-manager 镜像,增加rbd命令

由于扩容是kube-controller-manager完成的,而我们平台上是以容器形式运行的,因此需要容器镜像中附带rbd命令,否则扩容时会遇到如下错误提示:

  Warning  VolumeResizeFailed  3m (x75 over 4h)  volume_expand  Error expanding volume "default/resize" of plugin kubernetes.io/rbd : rbd info failed, error: executable file not found in $PATH

我制作了kubernetes v1.11.1 + ceph 10版本的controller-manager镜像 silenceshell/kube-controller-manager-amd64:v1.11.1-ceph-10,您也可以自行制作。

制作方法很简单:

  • 基于centos7基础镜像
  • COPY kube-controller-manager 二进制文件到 /usr/local/bin 目录
  • yum install ceph-common ceph-fs-common 即可。注意要使用ceph集群对应的版本。

3、更新 kube-controller-manager 编排文件的image以升级 controller-manager Pod

2、扩容操作

1、修改PVC的size

命令行使用kubectl edit pvc xxx,直接修改PVC的容量即可。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    volume.beta.kubernetes.io/storage-provisioner: ceph.com/rbd
  name: resize
spec:
  resources:
    requests:
      storage: 5Gi
  storageClassName: sata

之后PVC会进入 FileSystemResizePending 状态,等待Pod重启。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    volume.beta.kubernetes.io/storage-provisioner: ceph.com/rbd
  name: resize
spec:
  resources:
    requests:
      storage: 6Gi
  storageClassName: sata
status:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 5Gi
  conditions:
  - lastProbeTime: null
    lastTransitionTime: 2019-04-14T03:51:36Z
    message: Waiting for user to (re-)start a pod to finish file system resize of
      volume on node.
    status: "True"
    type: FileSystemResizePending
  phase: Bound

2、重启挂载该PVC的Pod

之后,controller manager 会调用 rbd resize命令,更新rbd image的大小,并重新挂载卷到Pod上去。

3、登录新的Pod的shell,查看挂载的rbd卷大小;查看PVC的status.capacity.storage 字段,已更新为新的容量。

3、在线扩容

1.11.1版本还提供了一个alpha的特性: ExpandInUsePersistentVolumes,即不需要容器即可扩容PVC扩容。当然了,PVC还是要管理Pod的,即需要被Pod挂载。

支持在线扩容的PVC有:GCE-PD, AWS-EBS, Cinder, and Ceph RBD。

该特性默认不开启,需要手工打开,后面会实践了我再补充。

4、cephfs可以扩容吗?

除了RBD,我们还会用cephfs PVC,但kubernetes本身是不支持对cephfs的PVC做扩容操作的。

实际上cephfs本身是支持扩容的,我们是ceph-fuse方式挂载的cephfs卷,可以 setfattr -n ceph.quota.max_bytes 方式设置目录的quota,然后重启Pod就可以生效了。

这个功能需要修改kubernetes本身的代码。从文件类型来说,cephfs类似glusterfs,可以参考glusterfs的实现。

Ref: