Skip to content

Latest commit

 

History

History
212 lines (184 loc) · 8.38 KB

CephFS 异常测试.md

File metadata and controls

212 lines (184 loc) · 8.38 KB

1. Cephfs 异常测试方案

CephFS允许客户端缓存metadata 30s，所以这里测试对MDS stop/start的时间间隔取为：2s，10s，60s。

测试组件 测试场景 挂载方式 测试方法
MDS 单MDS fuse/kernel 单个MDS挂掉情况 2s/10s/60s IO情况
主从MDS时 fuse/kernel 单主挂掉情况 2s/10s/60s IO情况
主从MDS时 fuse/kernel 主从同时挂掉情况 2s/10s/60s IO情况
MON 单个MON fuse/kernel 单个MON挂掉情况 2s/10s/60s IO情况
所有MON fuse/kernel 所有MON挂掉情况 2s/10s/60s IO情况
OSD 单个OSD fuse/kernel 单个OSD挂掉情况 2s/10s/60s IO情况
集群一半OSD fuse/kernel 一半OSD挂掉情况 2s/10s/60s IO情况
集群所有OSD挂掉 fuse/kernel 所有OSD挂掉情况 2s/10s/60s IO情况

2. 测试环境

  • mon： ceph-xxx-osd01.ys, ceph-xxx-osd02.ys, ceph-xxx-osd03.ys
  • osd： ceph-xxx-osd01.ys, ceph-xxx-osd02.ys, ceph-xxx-osd03.ys
  • mds： ceph-xxx-osd04.ys, ceph-xxx-osd05.ys

3. 测试工具

fio

fio也是我们性能测试中常用的一个工具，详细介绍Google之。

我们测试中固定配置： -filename=tstfile 指定测试文件的name -size=20G 指定测试文件的size为20G -direct=1 指定测试IO为DIRECT IO -thread 指定使用thread模式 -name=fio-tst-name 指定job name

测试bandwidth时： -ioengine=libaio/sync -bs=512k/1M/4M/16M -rw=write/read -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

测试iops时： -ioengine=libaio -bs=4k -runtime=300 -rw=randwrite/randread -iodepth=64 -iodepth_batch=1 -iodepth_batch_complete=1

4. 测试步骤

4.1 MDS

4.1.1 单MDS挂掉

不需要测试，目前都是主从结构。

4.1.2 主从MDS主挂掉

#测试多个文件
#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

4.1.3 结论

挂载方式 写入方式 故障描述
fuse 单个文件 停掉主MDS, io会出现稍微的抖动
多个文件 停掉主MDS,会发生1-2秒的io夯住
kernel 单个文件 停掉主MDS, io会出现稍微的抖动
多个文件 停掉主MDS,会发生1-2秒的io夯住

单个文件： image.png

4.1.4 主从MDS都挂掉

#测试多个文件
#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8
 
#18:19:24 fio
#18:19:28 sh mdsstop.sh

4.1.5 结论：

挂载方式 写入方式 故障描述
fuse 单个文件 停掉主从MDS,40s左右io夯死
多个文件 停掉主从MDS, io立马夯死
kernel 单个文件 停掉主从MDS,40s左右io夯死
多个文件 停掉主从MDS, io立马夯死

单个文件模式： image.png

4.2 MON

4.2.1 单个MON挂掉

#测试多个文件
#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

4.2.2 结论

挂载方式 写入方式 故障描述
fuse 单个文件 停掉单个MON，客户端写入无影响.
多个文件 停掉单个MON，客户端写入无影响.
kernel 单个文件 停掉单个MON，客户端写入无影响.
多个文件 停掉单个MON，客户端写入无影响.

4.2.3 所有MON挂掉

#测试多个文件
#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

4.2.4 结论

挂载方式 写入方式 故障描述
fuse 单个文件 所有的MON都挂掉,会在60秒左右IO夯死
多个文件 所有的MON挂掉,会在挂掉后立刻IO夯死
kernel 单个文件 所有的MON都挂掉,会在60秒左右IO夯死
多个文件 所有的MON挂掉，会在挂掉后10秒左右IO夯死.

单个文件模式(内核模式)： image.png

单个文件模式(fuse模式)： image.png

4.3 OSD

4.3.1 单个OSD挂掉

#测试多个文件
#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

4.3.2 结论

挂载方式 写入方式 故障描述
fuse 单个文件 停掉一个osd，MDS客户端的写入无影响
多个文件 停掉一个osd，MDS客户端的写入无影响.
kernel 单个文件 停掉一个osd，MDS客户端的写入无影响
多个文件 停掉一个osd，MDS客户端的写入无影响.

4.3.3 集群一半OSD挂掉

#测试多个文件
#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

4.3.4 结论

挂载方式 写入方式 故障描述
fuse 单个文件 集群2/3 的osd 挂掉,MDS客户端立刻会夯死.
多个文件 集群2/3 的osd 挂掉,MDS客户端立刻会夯死.
kernel 单个文件 集群2/3 的osd 挂掉,MDS客户端立刻会夯死.
多个文件 集群2/3 的osd 挂掉,MDS客户端立刻会夯死.

4.3.5 集群所有OSD挂掉


#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

4.3.6 结论

挂载方式 写入方式 故障描述
fuse 单个文件 集群所有的osd 挂掉,MDS客户端会立刻夯死
多个文件 集群所有的osd 挂掉,MDS客户端会立刻夯死.
kernel 单个文件 集群所有的osd 挂掉,MDS客户端会立刻夯死
多个文件 集群所有 的osd 挂掉,MDS客户端立刻会夯死.