ceph S3对象存储上传文件失败

#s3cmd mb S3://tbuck
S3 error: 416 (InvalidRange) 

是因为ceph集群的pg耗尽，首先查看当前ceph的osd设置的最大pg个数

# ceph daemon mds.ceph88 config show | grep mon_max_pg_per_osd
 "mon_max_pg_per_osd": "250",

N版本默认为256个。

# ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP META AVAIL %USE VAR PGS STATUS 
 0 hdd 4.06450 1.00000 4.1 TiB 1.1 TiB 1.1 TiB 260 MiB 2.5 GiB 3.0 TiB 26.07 0.64 248 up 
 1 hdd 1.88179 1.00000 1.9 TiB 1.1 TiB 1.1 TiB 260 MiB 2.4 GiB 842 GiB 56.31 1.39 248 up 
 2 hdd 1.88570 1.00000 1.9 TiB 1.1 TiB 1.1 TiB 282 MiB 2.5 GiB 846 GiB 56.20 1.38 248 up 
 TOTAL 7.8 TiB 3.2 TiB 3.2 TiB 802 MiB 7.4 GiB 4.7 TiB 40.59 

已经耗尽，可以通过命令

# ceph daemon mds.ceph85 config set mon_max_pg_per_osd 300

修改此参数，之后便可以成功创建bucket并上传object。

查看每个osd上的pg如下

# ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP META AVAIL %USE VAR PGS STATUS 
 0 hdd 4.06450 1.00000 4.1 TiB 1.1 TiB 1.1 TiB 260 MiB 2.4 GiB 3.0 TiB 26.10 0.64 272 up 
 1 hdd 1.88179 1.00000 1.9 TiB 1.1 TiB 1.1 TiB 260 MiB 2.3 GiB 841 GiB 56.37 1.39 272 up 
 2 hdd 1.88570 1.00000 1.9 TiB 1.1 TiB 1.1 TiB 260 MiB 2.2 GiB 845 GiB 56.24 1.38 272 up 
 TOTAL 7.8 TiB 3.2 TiB 3.2 TiB 779 MiB 7.0 GiB 4.6 TiB 40.63 
MIN/MAX VAR: 0.64/1.39 STDDEV: 15.30

每个osd上面已经有272个pg。但这只是临时方案，对性能会有影响。最终的解决方案还是需要通过添加osd存储。