ceph环境下测试磁盘在写入时cache盘的占用情况

ceph环境下 测试磁盘在写入时cache盘的占用情况

成都创新互联长期为上1000+客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为普兰店企业提供专业的成都做网站、网站制作，普兰店网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。

[root@localhost ~]# lsblk

NAME                           MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT

sr0                             11:0    1 1024M  0 rom  

sdb                              8:16   0   20G  0 disk 

└─cachedev-0 (dm-4)            253:4    0   20G  0 dm   /sandstone-data/sds-0

sda                              8:0    0   50G  0 disk 

├─sda1                           8:1    0  500M  0 part /boot

└─sda2                           8:2    0 49.5G  0 part 

  ├─VolGroup-lv_root (dm-0)    253:0    0 45.6G  0 lvm  /

  └─VolGroup-lv_swap (dm-1)    253:1    0  3.9G  0 lvm  [SWAP]

sdc                              8:32   0   20G  0 disk 

├─vg_mix-lv_journal_0_0 (dm-2) 253:2    0    8G  0 lvm  

└─vg_mix-lv_cache_0_0 (dm-3)   253:3    0   12G  0 lvm  

  └─cachedev-0 (dm-4)          253:4    0   20G  0 dm   /sandstone-data/sds-0

sdd                              8:48   0   10G  0 disk 

sde                              8:64   0   10G  0 disk 

sdf                              8:80   0   10G  0 disk 

[root@localhost ~]# 

第一个shell：

[root@localhost ~]# dd if=/dev/zero of=/dev/sdd bs=1M count=1000

第二个shell：

[root@localhost ~]# iostat -dxt 1

Linux 2.6.32-358.11.1.2.ky3.1.x86_64 (localhost.localdomain) 2017年10月23日 _x86_64_(4 CPU)

2017年10月23日 18时27分31秒

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sdb               0.01     5.12    0.05    1.59     0.47    53.67    33.11     0.03   19.76   7.90   1.29

sda               0.06    46.33    1.28   44.61    24.24   727.82    16.39     5.33  116.08   1.70   7.81

sdc               0.76     1.20    5.25    4.24    54.36    67.44    12.83     0.10   10.14   4.70   4.46

dm-0              0.00     0.00    0.22   90.94    13.70   727.82     8.13     7.03   77.15   0.84   7.65

dm-1              0.00     0.00    0.00    0.00     0.01     0.00     8.00     0.00    7.87   2.71   0.00

dm-2              0.00     0.00    0.19    1.87     1.51    38.52    19.47     0.03   14.93   8.38   1.72

dm-3              0.00     0.00    1.00    3.48     8.03    28.18     8.08     0.14   30.85   4.76   2.13

dm-4              0.00     0.00    0.08    8.54     0.67    68.34     8.00     1.72  199.06   3.18   2.74

sdd               0.00     1.35    0.00    0.01     0.01    10.33   894.49     0.08 6452.67  34.39   0.04

sde               0.00     0.00    0.00    0.00     0.01     0.00     8.00     0.00    2.74   2.74   0.00

sdf               0.00     0.00    0.00    0.00     0.01     0.00     8.00     0.00    2.74   2.74   0.00

2017年10月23日 18时27分32秒

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sdb               0.00   595.00    0.00   13.00     0.00  7384.00   568.00     0.88  139.38  22.85  29.70

sda               0.00    12.00   10.00 1012.00    88.00  8152.00     8.06   144.63   93.69   0.98 100.00

sdc               0.00    69.00    5.00   16.00   544.00  7376.00   377.14    36.40  563.48  47.62 100.00

dm-0              0.00     0.00    2.00 1004.00    16.00  8032.00     8.00   147.08   95.42   0.99 100.00

dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

dm-2              0.00     0.00    0.00   19.00     0.00  8584.00   451.79     9.95  379.74  52.37  99.50

dm-3              0.00     0.00    2.00   69.00    16.00   552.00     8.00   927.73 2342.27  14.08 100.00

dm-4              0.00     0.00    2.00  606.00    16.00  4848.00     8.00  1195.77  439.58   1.64 100.00

sdd               0.00  3937.00    0.00   16.00     0.00 15368.00   960.50   143.73 5219.94  62.50 100.00

sde               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sdf               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

该环境是ceph环境。sdc作为journal跟cache的缓存盘。

下面是虚拟磁盘的block等信息：

[root@localhost ~]# smartctl -a /dev/sdc

smartctl 5.43 2012-06-30 r3573 [x86_64-linux-2.6.32-358.11.1.2.ky3.1.x86_64] (local build)

Copyright (C) 2002-12 by Bruce Allen, http://smartmontools.sourceforge.net

Vendor:               VMware  

Product:              Virtual disk    

Revision:             1.0 

User Capacity:        21,474,836,480 bytes [21.4 GB]

Logical block size:   512 bytes

Logical Unit id:      0x6000c29586aa7f7d928e86417eb5e2ff

Serial number:        6000c29586aa7f7d928e86417eb5e2ff

Device type:          disk

Local Time is:        Mon Oct 23 18:30:39 2017 CST

Device does not support SMART

Error Counter logging not supported

Device does not support Self Test logging