扫一扫下载手机客户端
扫描我，关注团购信息，享更多优惠
||网络安全
| | | | | | | | | | | | | | | |
||电子电工
汽车交通| | | | | | | | | |
||投资理财
| | | | | | | | | | | | | | | | |
| | | | | | |
| | | | | | | | | | | | | | | | | | | | | | | | | | | | | |
||外语考试
| | | | | | | | |
| 视频教程|
Ceph分布式存储实战
十余位专家联袂推荐，ceph中国社区专家撰写，权威性与实战性毋庸置疑。系统介绍ceph设计思想、三大存储类型与实际应用、高级特性、性能测试、调优与运维
定价：￥69.00
校园优惠价：￥48.30 (70折)
促销活动：
商品已成功飞到您的手机啦！快登录手机站看看吧！
下载客户端
> 微信关注“互动出版网”，便捷查询订单，更多惊喜天天有
ISBN：8上架时间：出版日期：2016 年12月开本：16开版次：1-1
所属分类：
Ceph是&#x76前开源世界在存储领&#x57的&#x91程碑式项&#x76，它所带来的分布式、无中心化&#x8计是&#x76前众多商用分布式存储模&#x4和学习的对象。Ceph社区&#x7过十多年发展已&#x7成为近几年参与度增长最&#x5的开源社区之一，而Ceph中&#x56社区正是&#x80后的驱动力之一。&#x42015年开&#x59，Ceph中&#x56社区一直&#x52力在&#x56内普&#x53Ceph的生态，并为广大Ceph爱好者提供了交流平台，使得众多开源爱好者&#x80够&#x8一步了解Ceph的魅力。在过&#x53的10年，开源世界慢慢成为了IT创新的动力，而这10年也是&#x56内技术爱好者受&#x76于开源的最好时间。但是，&#x4开源爱好者到社区的深度参与方面，尤其是在世界级开源项&#x76上，我&#x4还存在大缺失，而这些“沟壑”需要&#x50Ceph中&#x56社区这样的组织来弥补。我很欣喜地看到Ceph中&#x56社区&#x80在最合适的时间成&#x7并迅速成长，而且受到Ceph官方社区的认&#x53。
Ceph中国社区，汇聚中国Ceph分布式系统爱好者，有Ceph线上社区，开展视频授课与培训，并积极开展线下交流活动，有一定的影响力。社区中的骨干均是来自各大企业的Ceph实践者，有丰富的实战经验。
第1章　初识Ceph 1
1.1　Ceph概述 1
1.2　Ceph的功能组件 5
1.3　Ceph架构和设计思想 7
1.4　Ceph快速安装 9
1.4.1　Ubuntu/Debian安装 10
1.4.2　RHEL/CentOS安装 13
1.5　本章小结 16
第2章　存储基石RADOS 17
2.1　Ceph功能模块与RADOS 18
2.2　RADOS架构 20
2.2.1　Monitor介绍 20
2.2.2　Ceph OSD简介 22
2.3　RADOS与LIBRADOS 26
2.4　本章小结 31
第3章　智能分布CRUSH 32
3.1　引言 32
　　随着信息化浪潮的到来，全球各行各业逐步借助信息技术深入发展。据悉，企业及互联网数据以每年50%的速率在增长。据权威调查机构Gartner预测，到2020年，全球数据量将达到35ZB，相当于80亿块4TB硬盘，数据结构的变化给存储系统带来了全新的挑战。那么有什么方法能够存储这些数据呢？我认为Ceph是解决未来十年数据存储需求的一个可行方案。Ceph是存储的未来！SDS是存储的未来！
　　为什么写这本书
　　目前，磁盘具备容量优势，固态硬盘具备速度优势。但能否让容量和性能不局限在一个存储器单元呢？我们很快联想到磁盘阵列技术（Redundant Array of Independent Disk，RAID，不限于HDD）。磁盘阵列技术是一种把多块独立的硬盘按不同的方式组合起来形成一个硬盘组（Disk Group，又称Virtual Disk），从而提供比单个硬盘更高的存储性能与数据备份能力的技术。磁盘阵列技术既可提供多块硬盘读写的聚合能力，又能提供硬盘故障的容错能力。
　　镜像技术（Mirroring）又称为复制技术（Replication），可提供数据冗余性和高可用性；条带（Striping），可提供并行的数据吞吐能力；纠删码（Erasure Code），把数据切片并增加冗余编码而提供高可用性和高速读写能力。镜像、条带和纠删码是磁盘阵列技术经典的数据分发方式，这3种经典的磁盘技术可通过组合方式提供更加丰富的数据读写性能。
　　传统的磁盘阵列技术的关注点在于数据在磁盘上的分发方式，随着通用磁盘、通用服务器，以及高速网络的成本降低，使数据在磁盘上的分发扩展到在服务器节点上的分发成为可能。镜像技术、条带技术和纠删码技术基于服务器节点的粒度实现后，这些技术的特点不再局限于单个设备的性能，而是具备“横向扩展”能力。我们暂且认为这是分布式存储本质的体现。
　　分布式存储解决了数据体量问题，对应用程序提供标准统一的访问接入，既能提升数据安全性和可靠性，又能提高存储整体容量和性能。可以预见，分布式存储是大规模存储的一个实现方向。分布式存储广泛地应用于航天、航空、石油、科研、政务、医疗、视频等高性能计算、云计算和大数据处理领域。目前行业应用对分布式存储技术需求旺盛，其处于快速发展阶段。
　　Ceph是加州大学圣克鲁兹分校的Sage Weil博士论文的研究项目，是一个使用自由开源协议（LGPLv2.1）的分布式存储系统。目前Ceph已经成为整个开源存储行业最热门的软件定义存储技术（Software Defined Storage，SDS）。它为块存储、文件存储和对象存储提供了统一的软件定义解决方案。Ceph旨在提供一个扩展性强大、性能优越且无单点故障的分布式存储系统。从一开始，Ceph就被设计为能在通用商业硬件上高度扩展。
　　由于其开放性、可扩展性和可靠性，Ceph成为了存储行业中的翘楚。这是云计算和软件定义基础设施的时代，我们需要一个完全软件定义的存储，更重要的是它要为云做好准备。无论运行的是公有云、私有云还是混合云，Ceph都非常合适。国内外有不少的Ceph应用方案，例如美国雅虎公司使用Ceph构建对象存储系统，用于Flickr、雅虎邮箱和Tumblr（轻量博客）的后端存储；国内不少公有云和私有云商选择Ceph作为云主机后端存储解决方案。
　　如今的软件系统已经非常智能，可以最大限度地利用商业硬件来运行规模庞大的基础设施。Ceph就是其中之一，它明智地采用商业硬件来提供企业级稳固可靠的存储系统。
　　Ceph已被不断完善，并融入以下建设性理念。
　　每个组件能够线性扩展。
　　无任何单故障点。
　　解决方案必须是基于软件的、开源的、适应性强的。
　　运行于现有商业硬件之上。
　　每个组件必须尽可能拥有自我管理和自我修复能力。
　　对象是Ceph的基础，它也是Ceph的构建部件，并且Ceph的对象存储很好地满足了当下及将来非结构化数据的存储需求。相比传统存储解决方案，对象储存有其独特优势：我们可以使用对象存储实现平台和硬件独立。Ceph谨慎地使用对象，通过在集群内复制对象来实现可用性；在Ceph中，对象是不依赖于物理路径的，这使其独立于物理位置。这种灵活性使Ceph能实现从PB（petabyte）级到EB（exabyte）级的线性扩展。
　　Ceph性能强大，具有超强扩展性及灵活性。它可以帮助用户摆脱昂贵的专有存储孤岛。Ceph是真正在商业硬件上运行的企业级存储解决方案；是一种低成本但功能丰富的存储系统。Ceph通用存储系统同时提供块存储、文件存储和对象存储，使客户可以按需使用。
　　由于国内许多企业决策者逐渐认识到Ceph的优势与前景，越来越多来自系统管理和传统存储的工程师使用Ceph，并有相当数量的企业基于Ceph研发分布式存储产品，为了更好地促进Ceph在国内传播和技术交流，我们几个爱好者成立了Ceph中国社区。目前，通过网络交流群、消息内容推送和问答互动社区，向国内关注Ceph技术的同行提供信息交流和共享平台。但是，由于信息在传递过程中过于分散，偶尔编写的文档内容并不完整，导致初学者在学习和使用Ceph的过程中遇到不少疑惑。同时，由于官方文档是通过英文发布的，对英语不太熟悉的同行难于学习。鉴于此，Ceph中国社区组织技术爱好者编写本书，本书主要提供初级和中级层面的指导。根据调查反馈以及社区成员的意见，我们确定了本书内容。
　　本书特色
　　在本书中，我们将采用穿插方式讲述Ceph分布式存储的原理与实战。本书侧重实战，循序渐进地讲述Ceph的基础知识和实战操作。从第1章起，读者会了解Ceph的前生今世。随着每章推进，读者将不断学习、不断深入。我希望，到本书的结尾，读者不论在概念上还是实战上，都能够成功驾驭Ceph。每个章节在讲述完基础理论知识后会有对应的实战操作。我们建议读者在自己的电脑上按部就班地进行实战操作。这样，一来读者不会对基础理论知识感到困惑，二来可让读者通过实战操作加深对Ceph的理解。同时，如果读者在阅读过程中遇到困难，我们建议再重温已阅章节或重做实验操作，这样将会加深理解，也可以加入Ceph中国社区QQ群（）进行技术讨论。
　　Ceph是目前开源世界在存储领域的里程碑式项目，它所带来的分布式、无中心化设计是目前众多商用分布式存储模仿和学习的对象。Ceph社区经过十多年发展已经成为近几年参与度增长最快的开源社区之一，而Ceph中国社区正是背后的驱动力之一。从2015年开始，Ceph中国社区一直努力在国内普及Ceph的生态，并为广大Ceph爱好者提供了交流平台，使得众多开源爱好者能够进一步了解Ceph的魅力。在过去的10年，开源世界慢慢成为了IT创新的动力，而这10年也是国内技术爱好者受益于开源的最好时间。但是，从开源爱好者到社区的深度参与方面，尤其是在世界级开源项目上，我们还存在大缺失，而这些“沟壑”需要像Ceph中国社区这样的组织来弥补。我很欣喜地看到Ceph中国社区能在最合适的时间成立并迅速成长，而且受到Ceph官方社区的认可。
　　Ceph中国社区从论坛的搭建，微信群的建立，公众号的众包翻译和文章分析，到活动的组织都体现了一个开源社区最富有活力的价值。本书正是Ceph中国社区给国内Ceph爱好者的一份正当其时的“礼物”，本书是多位Ceph实战者在Ceph集群运维和问题讨论中形成的经验和锦囊之集合。毫不夸张地说，本书是我目前看到的最棒的Ceph入门工具书，可以帮助对分布式存储或者Ceph不太熟悉的读者真正零距离地接触并使用它。
　　王豪迈
　　本书赞誉
　　正如OpenStack日渐成为开源云计算的标准软件栈，Ceph也被誉为软件定义存储开源项目的领头羊。细品本书，慢嗅“基础理论讲解简明扼要，技术实战阐述深入全面”之清香。千言万语，不如动手一战。Ceph爱好者们，请启动机器，拿起本书，早日踏上Ceph专家之路。
　　―陈绪，博士，英特尔中国云计算战略总监，中国开源软件推进联盟常务副秘书长，2015年中日韩东北亚开源论坛最高奖项“特别贡献奖”获得者
　　Ceph是主流的开源分布式存储操作系统。我们看到越来越多的云服务商和企业用户开始考察Ceph，把它作为构建“统一存储”和“软件定义存储”的可信赖解决方案。Ceph的CRUSH算法引擎，聪明地解决了数据分布效率问题，奠定了它胜任各种规模存储池集群的坚实基础。过去5年，在Red Hat、Intel等软硬件基础设施领导者的推动下，Ceph开源社区有超过10倍的增长―不仅仅具备广泛的硬件兼容性体系，大量上下游厂商添砖加瓦，也吸引了很多运营商、企业用户参与改进。XSKY很荣幸作为社区的一员，见证与实践着Ceph帮助用户进行存储基础架构革新的历程。我们欣喜地看到由Ceph中国社区撰写的本书的问世，这是一部在立意和实践方面均不输于同期几本英文书籍的作品，深入浅出，娓娓道来，凝结了作者的热情和心血。我们诚挚地向业内技术同行和Ceph潜在用户推荐此书！愿Ceph中国社区在推进开源事业的道路上取得更大的成功！
　　―胥昕，XSKY星辰天合（北京）数据科技有限公司CEO
　　在开源软件定义存储（SDS）领域，Ceph是当之无愧的王者项目。随着IaaS技术的火热发展，越来越多的用户开始在生产环境中部署SDS。伴随着基础设施开源化的趋势，很多用户希望部署开源的SDS，Ceph成为了他们的第一选择。跟大多数开源软件项目一样，Ceph具有优秀的技术特性，但也存在着部署难、运维难的问题。在使用开源Ceph发行版时，用户需要对Ceph的实现原理、部署运维最佳实践有一定了解，才能在生产环境中稳定使用这一开源技术。长期以来，中文技术社区一直没有一本对Ceph的原理、生产实践、运维实践进行剖析的好书，本书的出现填补了这一空白。该书不仅从原理上对Ceph的核心技术进行了讲解，还介绍了将Ceph部署在OpenStack、ZStack等IaaS软件上的生产环境实践，最后着重介绍了Ceph的运维和排错，是一本不可多得的Ceph百科全书，是Ceph用户、IaaS开发人员必备的一本SDS工具书。
　　―张鑫，前CloudStack核心初创人员，开源IaaS项目ZStack创始人
　　开源系统是Linux的世界，开源管理平台是OpenStack的世界，开源存储是Ceph的世界。软件定义存储（SDS）是存储发展的必然趋势，最好的开源软件定义存储方案无疑就是Ceph，我身边好多朋友已经开始在生产环境中大量部署Ceph，Ceph也表现出卓越的稳定性和性能。但是Ceph的搭建和使用门槛比较高，很高兴看到Ceph中国社区组织编写的本书的出版，为Ceph搭建学习降低了门槛，是国内Ceph爱好者的福音。Ceph中国社区为Ceph在中国的普及做了大量非常重要的工作，本书是一个里程碑，相信Ceph中国社区会继续为Ceph做出更多的贡献。
　　―肖力，KVM云技术社区创始人
　　Ceph作为分布式存储开源项目的杰出代表，在各个领域已经得到了充分验证，可以预见，在未来的几年时间内，Ceph一定会得到更广泛的应用。本书作为国内为数不多阐述Ceph的著作，从基础、原理和实践多个层面进行了详尽讲解，是一本快速了解并掌握Ceph的力作。
　　―孙琦（Ray），北京休伦科技有限公司CTO
　　软件看开源，SDS看Ceph。Ceph是目前影响力最大的开源软件定义存储解决方案，其应用范围涵盖块存储、文件存储和对象存储，广泛被业界公司所采用。
　　很荣幸能在第一时间读到这本书，该书从Ceph的部署开始，阐明了Ceph各个主要模块及其功能，介绍了Ceph在块存储、文件存储和对象存储不同场景下的应用方式，指明了Ceph性能调优的方案。尤其是最后的生产环境应用案例，解了使用Ceph的技术人员的燃眉之急，给出了常见问题的解决思路，造福于整个开源云存储界。
　　无论是售前专家、开发架构师还是运维负责人，读一读Ceph中国社区编写的这本书，都可以细细地品一品，积极地拥抱开源、把握云存储的未来。
　　―楼炜，盘古数据资深云和大数据架构师
　　作为一名早期研究Ceph的人员，很高兴看到Ceph在近几年如火如荼的发展状态。在我刚接触Ceph时，很渴望得到系统化的介绍、培训或指导。但当时Ceph在国内还处于小众研究状态，高人难寻，深入全面的介绍资料更是没有。Ceph中国社区的朋友们出版这本介绍Ceph的书籍，为Ceph的广大研究者和爱好者做了一件很有意义的事情。相信本书一定能够成为Ceph发展的强力助推器！
　　―温涛，新华三集团（H3C公司）ONEStor产品研发负责人
　　Ceph因其先进的设计思想，良好的可靠性、可扩展性，成为存储领域的研究热点，被誉为“存储的未来”，得到广泛的部署。由Ceph中国社区组织编写的这本书是国内第一本系统介绍Ceph的书籍，全书从Ceph的历史、架构、原理到部署、运维、应用案例，讲解全面深入，可操作性强。本书非常适合想要了解Ceph、使用Ceph的读者阅读，也可供分布式存储系统设计者参考。
　　―汪黎，KylinCloud团队存储技术负责人，Ceph代码贡献者
　　从实用价值上看，本书从Ceph的基本原理、Ceph的安装部署和Ceph的应用案例等方面进行了深入浅出的讲解，理论和实践完美结合，是难得的系统阐述Ceph的教科书，是广大Ceph爱好者的福音。
系列图书推荐 ￥69.00￥48.30
同类热销商品￥108.00￥86.40
订单处理配送
北京奥维博世图书发行有限公司 china-pub,All Rights Reserved为了您的账号安全，我们需要在执行操作之前验证您的身份，请输入验证码。企业私有云之共享存储ceph在centos7安装与应用
时间： 14:34:29
&&&& 阅读：353
&&&& 评论：
&&&& 收藏：0
标签：&&&&&&&&&&&&构建云设施，存储是一个重要组件，所以本文主要介绍一下我这里如何使用ceph的。云软件选择openstack，版本是Mitaka，部署系统是centos 7.1，ceph版本是10.2.2.选择ceph的原因是，免费、开源、支持多，并且市面上大部分都是选择ceph做云存储。另外本文是参考了 目录一、ceph安装二、openstack里应用ceph集群三、glance应用ceph四、删除osd节点五、ceph使用混合磁盘下面是开始安装可以参考官方的/docs/master/start/quick-ceph-deploy/一、ceph安装主机环境一个adm，3个mon，3个osd，复制2份下面是hosts配置（每个主机都有）10.10.128.18&ck-ceph-adm
10.10.128.19&ck-ceph-mon1
10.10.128.20&ck-ceph-mon2
10.10.128.21&ck-ceph-mon3
10.10.128.22&ck-ceph-osd1
10.10.128.23&ck-ceph-osd2
10.10.128.24&ck-ceph-osd3另外需要对mon与osd节点进行一些优化绑定盘符
ll&/sys/block/sd*|awk&‘{print&$NF}‘|sed&‘s/..//‘|awk&-F&‘/‘&‘{print&"DEVPATH==\""$0"\",&NANE=\""$NF"\",&MODE=\"0660\""}‘&/etc/udev/rules.d/90-ceph-disk.rules
#关闭节能模式
for&CPUFREQ&in&/sys/devices/system/cpu/cpu*/cpufreq/scaling_&do&[&-f&$CPUFREQ&]&||&&echo&-n&performance&&&$CPUFREQ;&done
#增加pid数量
echo&"kernel.pid_max&=&4194303"|tee&-a&/etc/sysctl.conf
#增加最大打开文件数量
echo&"fs.file-max&=&"|tee&-a&/etc/sysctl.conf
#增加顺序度
for&READ_KB&in&/sys/block/sd*/queue/read_ahead_&do&[&-f&$READ_KB&]&||&&echo&8192&&&$READ_KB;&done
#增加IO调度队列
for&REQUEST&in&/sys/block/sd*/queue/nr_&do&[&-f&$REQUEST&]&||&&echo&20480&&&$REQUEST;&done
#配置IO调度器
for&SCHEDULER&in&/sys/block/sd*/queue/&do&[&-f&$SCHEDULER&]&||&&echo&deadline&&&$SCHEDULER;&done
#关闭swwap
echo&"vm.swappiness&=&0"&|&tee&-a&/etc/sysctl.conf每个主机也最好是把主机名修改跟hosts里一致1、创建用户useradd&-m&ceph-admin
su&-&ceph-admin
mkdir&-p&~/.ssh
chmod&700&~/.ssh
cat&&&&EOF&&&~/.ssh/config
&&&&Port&50020
&&&&StrictHostKeyChecking&no
&&&&UserKnownHostsFile=/dev/null
chmod&600&~/.ssh/config做ssh信任ssh-keygen&-t&rsa&-b&2048之后一路回车就行复制id_rsa.pub到其他节点的/home/ceph/.ssh/authorized_keyschmod 600 .ssh/authorized_keys之后给予ceph sudo权限修改/etc/sudoersceph-admin&ALL=(root)&&&&&&&NOPASSWD:ALL之后在这个配置文件里关闭Defaults&&&&requiretty在这行前加#对osd组服务器进行磁盘格式化如果只是测试，可以直接使用目录，正式使用，还是直接裸设备格式化cat&auto_parted.sh
#!/bin/bash
name="b&c&d&e&f&g&h&i"
for&i&in&${name};&do
&&&&echo&"Creating&partitions&on&/dev/sd${i}&..."
&&&&parted&-a&optimal&--script&/dev/sd${i}&--&mktable&gpt
&&&&parted&-a&optimal&--script&/dev/sd${i}&--&mkpart&primary&xfs&0%&100%
&&&&sleep&1
&&&&mkfs.xfs&-f&/dev/sd${i}1&&
done然后运行2、安装epel（所有节点）yum&-y&install&epel-release3、安装ceph源（所有节点,如果是不使用ceph-deploy安装使用，否则使用ceph-deploy自动安装）yum&-y&install&yum-plugin-priorities
rpm&--import&/keys/release.asc
rpm&-Uvh&--replacepkgs&/rpm-jewel/el7/noarch/ceph-release-1-0.el7.noarch.rpm
rpm&-Uvh&--replacepkgs&http://mirrors./ceph/rpm-jewel/el7/noarch/ceph-release-1-0.el7.noarch.rpm
cd&/etc/yum.repos.d/
sed&-i&‘@mirrors./‘&ceph.repo
yum&-y&install&ceph&ceph-radosgw4、管理节点配置安装定制软件yum&install&ceph-deploy&-y进行初始化su&-&ceph-admin
mkdir&ck-ceph-cluster
cd&ck-ceph-cluster
ceph-deploy&new&ck-ceph-mon1&ck-ceph-mon2&ck-ceph-mon3有几个mon节点就写几个配置echo&"osd&pool&default&size&=&2"&&ceph.conf
echo&"osd&pool&default&min&size&=&2"&&ceph.conf
echo&"public&network&=&10.10.0.0/16"&&ceph.conf
echo&"cluster&network&=&172.16.0.0/16"&&ceph.conf请注意如果是多个网卡的话，最好把public与cluster单独区分出来，cluster是集群通信与同步数据网络，public是供监控与客户端连接网络。在所有节点安装ceph（如果是想使用ceph-deploy安装就进行，如果使用了第3步，可以忽略这步）ceph-deploy&install&&ck-ceph-adm&ck-ceph-mon1&ck-ceph-mon2&ck-ceph-mon2&ck-ceph-osd1&ck-ceph-osd2&ck-ceph-osd3监控节点初始化ceph-deploy&mon&create-initial对osd节点进行数据盘初始化ceph-deploy&disk&zap&ck-ceph-osd1:sdb&ck-ceph-osd1:sdc&ck-ceph-osd1:sdd&ck-ceph-osd1:sde&ck-ceph-osd1:sdf&ck-ceph-osd1:sdg&ck-ceph-osd1:sdh&ck-ceph-osd1:sdi
ceph-deploy&osd&create&ck-ceph-osd1:sdb&ck-ceph-osd1:sdc&ck-ceph-osd1:sdd&ck-ceph-osd1:sde&ck-ceph-osd1:sdf&ck-ceph-osd1:sdg&ck-ceph-osd1:sdh&ck-ceph-osd1:sdi
ceph-deploy&disk&zap&ck-ceph-osd2:sdb&ck-ceph-osd2:sdc&ck-ceph-osd2:sdd&ck-ceph-osd2:sde&ck-ceph-osd2:sdf&ck-ceph-osd2:sdg&ck-ceph-osd2:sdh&ck-ceph-osd2:sdi
ceph-deploy&osd&create&ck-ceph-osd2:sdb&ck-ceph-osd2:sdc&ck-ceph-osd2:sdd&ck-ceph-osd2:sde&ck-ceph-osd2:sdf&ck-ceph-osd2:sdg&ck-ceph-osd2:sdh&ck-ceph-osd2:sdi
ceph-deploy&disk&zap&ck-ceph-osd3:sdb&ck-ceph-osd3:sdc&ck-ceph-osd3:sdd&ck-ceph-osd3:sde&ck-ceph-osd3:sdf&ck-ceph-osd3:sdg&ck-ceph-osd3:sdh&ck-ceph-osd3:sdi
ceph-deploy&osd&create&ck-ceph-osd3:sdb&ck-ceph-osd3:sdc&ck-ceph-osd3:sdd&ck-ceph-osd3:sde&ck-ceph-osd3:sdf&ck-ceph-osd3:sdg&ck-ceph-osd3:sdh&ck-ceph-osd3:sdi同步配置ceph-deploy&admin&ck-ceph-adm&ck-ceph-mon1&ck-ceph-mon2&ck-ceph-mon2&ck-ceph-osd1&ck-ceph-osd2&ck-ceph-osd3
ceph-deploy&--overwrite-conf&admin&ck-ceph-adm&ck-ceph-mon1&ck-ceph-mon2&ck-ceph-mon3&ck-ceph-osd1&ck-ceph-osd2
sudo&chmod&+r&/etc/ceph/ceph.client.admin.keyring对所有节点/etc/ceph修改权限sudo&chown&-R&ceph:ceph&/etc/ceph查看集群信息[&~]$&ceph&-s
&&&&cluster&2aafe304-2dd1-48be-a0fa-cb9c911c7c3b
&&&&&health&HEALTH_OK
&&&&&monmap&e1:&3&mons&at&{ck-ceph-mon1=10.10.128.19:6789/0,ck-ceph-mon2=10.10.128.20:6789/0,ck-ceph-mon3=10.10.128.21:6789/0}
&&&&&&&&&&&&election&epoch&6,&quorum&0,1,2&ck-ceph-mon1,ck-ceph-mon2,ck-ceph-mon3
&&&&&osdmap&e279:&40&osds:&40&up,&40&in
&&&&&&&&&&&&flags&sortbitwise
&&&&&&pgmap&v9&pgs,&3&pools,&58017&MB&data,&13673&objects
&&&&&&&&&&&&115&GB&used,&21427&GB&/&21543&GB&avail
&&&&&&&&&&&&&&&&2112&active+clean二、openstack里应用ceph集群可以参考官网 1、创建池子ceph&osd&pool&create&volumes&这个1024的pg_num与pgp_num的值，大家参考2、安装ceph客户端工具在所有cinder节点与计算节点都安装rpm&-Uvh&--replacepkgs&http://mirrors./ceph/rpm-jewel/el7/noarch/ceph-release-1-0.el7.noarch.rpm
yum&install&ceph-common3、同步配置同步/etc/ceph/ceph.conf把adm里的同步到cinder节点与计算节点4、安全认证（ceph管理节点）运行cinder用户访问ceph权限ceph&auth&get-or-create&client.cinder&mon&‘allow&r‘&osd&‘allow&class-read&object_prefix&rbd_children,&allow&rwx&pool=volumes‘5、把key加入节点（管理节点）ceph&auth&get-or-create&client.cinder&|&ssh&{your-volume-server}&sudo&tee&/etc/ceph/ceph.client.cinder.keyring
ssh&{your-cinder-volume-server}&sudo&chown&cinder:cinder&/etc/ceph/ceph.client.cinder.keyring
ceph&auth&get-or-create&client.cinder&|&ssh&{your-nova-compute-server}&sudo&tee&/etc/ceph/ceph.client.cinder.keyring6、密钥文件管理（管理节点）ceph&auth&get-key&client.cinder&|&ssh&{your-compute-node}&tee&client.cinder.key把密钥加入到libvirt使用获取uuiduuidgen
457eb676-33da-42ec-9a8c-登陆计算节点，把uuid改为上面的cat&&&secret.xml&&&EOF
&secret&ephemeral=‘no‘&private=‘no‘&
&&&uuid&457eb676-33da-42ec-9a8c-&/uuid&
&&&usage&type=‘ceph‘&
&&&&&name&client.cinder&secret&/name&
&&&/usage&
sudo&virsh&secret-define&--file&secret.xml
Secret&457eb676-33da-42ec-9a8c-&created
sudo&virsh&secret-set-value&--secret&457eb676-33da-42ec-9a8c-&--base64&$(cat&client.cinder.key)&&&&rm&client.cinder.key&secret.xml重启服务systemctl&restart&openstack-nova-compute.service使用virsh secret-list查看是否有此密钥如果不在所有节点使用，那么在把云硬盘挂载到实例的时候出现/var/log/nova/nova-compute.log&11:58:11.193&3004&ERROR&oslo_messaging.rpc.dispatcher&&&&&rv&=&meth(*args,&**kwargs)
&11:58:11.193&3004&ERROR&oslo_messaging.rpc.dispatcher&&&File&"/usr/lib64/python2.7/site-packages/libvirt.py",&line&554,&in&attachDeviceFlags
&11:58:11.193&3004&ERROR&oslo_messaging.rpc.dispatcher&&&&&if&ret&==&-1:&raise&libvirtError&(‘virDomainAttachDeviceFlags()&failed‘,&dom=self)
&11:58:11.193&3004&ERROR&oslo_messaging.rpc.dispatcher&libvirtError:&Secret&not&found:&rbd&no&secret&matches&uuid&‘9c0e4528-bd0f-4fe8-a3cd-7b1b9bb21d63‘7、配置cinder（在cinder节点）修改/etc/cinder/cinder.conf配置[ceph]
volume_driver&=&cinder.volume.drivers.rbd.RBDDriver
rbd_pool&=&volumes
rbd_ceph_conf&=&/etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot&=&false
rbd_max_clone_depth&=&5
rbd_store_chunk_size&=&4
rados_connect_timeout&=&-1
glance_api_version&=&2
rbd_user&=&cinder
rbd_secret_uuid&=&457eb676-33da-42ec-9a8c-并把下面修改enabled_backends&=&ceph重启服务systemctl&restart&&openstack-cinder-volume.service&target.service三、glance应用ceph1、创建池子(在ceph管理节点操作)ceph&osd&pool&create&images&1282、设置权限（在ceph管理节点操作）ceph&auth&get-or-create&client.glance&mon&‘allow&r‘&osd&‘allow&class-read&object_prefix&rbd_children,&allow&rwx&pool=images‘3、在glance主机里安装cephyum&install&ceph-common4、复制ceph配置文件到glance节点同步/etc/ceph/ceph.conf5、配置认证ceph&auth&get-or-create&client.glance&|&ssh&{your-glance-api-server}&sudo&tee&/etc/ceph/ceph.client.glance.keyring
ssh&{your-glance-api-server}&sudo&chown&glance:glance&/etc/ceph/ceph.client.glance.keyring6、配置glance文件修改/etc/glance/glance-api.conf&[glance_store]
stores&=&rbd
default_store&=&rbd
rbd_store_pool&=&images
rbd_store_user&=&glance
rbd_store_ceph_conf&=&/etc/ceph/ceph.conf
rbd_store_chunk_size&=&87、重启服务systemctl&restart&&openstack-glance-api.service&&&openstack-glance-registry.service8、上传镜像并测试glance&image-create&--name&centos64-test1&--disk-format&qcow2&&&--container-format&bare&--visibility&public&--file&/tmp/CentOS-6.4-x86_64.qcow2&--progress
[&ceph]#&rados&-p&images&ls
rbd_header.7eca70122ade
rbd_data.7eca70122ade.0000
rbd_directory
rbd_data.7eca70122ade.0001
rbd_data.7ee831dac577.0000
rbd_header.7ee831dac577
rbd_id.c7af-457a-859c-c
rbd_data.7ee831dac577.0001
rbd_data.7ee831dac577.0002
rbd_id.a5aea84-aa29-四、删除osd节点1、移出集群（管理节点执行）ceph&osd&out&7&(ceph&osd&tree中，REWEIGHT值变为0)2、停止服务（目标节点执行）systemctl&stop&&(ceph&osd&tree中，状态变为DOWN)3、移出crushceph&osd&crush&remove&osd.74、删除keyceph&auth&del&osd.75、移除osdceph&osd&rm&76、查找其所在主机是否还有osd，若有，进入第7步骤，否则ceph&osd&crush&remove&`hostname`7、修改并同步ceph.conf文件vi&/etc/ceph/ceph.conf8、删除目录文件rm&–rf&*&/var/lib/ceph/osd/ceph-7五、ceph使用混合磁盘下面是使用sas 15k 600g与sas 7.2k 4T做混合存储下面是修改前的[&ck-ceph-cluster]$&ceph&df
&&&&SIZE&&&&&&&AVAIL&&&&&&RAW&USED&&&&&%RAW&USED
&&&&44436G&&&&&44434G&&&&&&&&1844M&&&&&&&&&&&&&0
&&&&NAME&&&&&ID&&&&&USED&&&&&%USED&&&&&MAX&AVAIL&&&&&OBJECTS
&&&&rbd&&&&&&0&&&&&&&&&0&&&&&&&&&0&&&&&&&&22216G&&&&&&&&&&&0
[&ck-ceph-cluster]$&rados&df
pool&name&&&&&&&&&&&&&&&&&KB&&&&&&objects&&&&&&&clones&&&&&degraded&&&&&&unfound&&&&&&&&&&&rd&&&&&&&&rd&KB&&&&&&&&&&&wr&&&&&&&&wr&KB
rbd&&&&&&&&&&&&&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0
&&total&used&&&&&&&&&1888268&&&&&&&&&&&&0
&&total&avail&&&&
&&total&space&&&&1、获取当前crush map，反编译它[&ck-ceph-cluster]$&ceph&osd&getcrushmap&-o&default-crushmapdump
got&crush&map&from&osdmap&epoch&238
[&ck-ceph-cluster]$&crushtool&-d&default-crushmapdump&-o&default-crushmapdump-decompiled
[&ck-ceph-cluster]$&cat&default-crushmapdump-decompiled
#&begin&crush&map
tunable&choose_local_tries&0
tunable&choose_local_fallback_tries&0
tunable&choose_total_tries&50
tunable&chooseleaf_descend_once&1
tunable&chooseleaf_vary_r&1
tunable&straw_calc_version&1
device&0&osd.0
device&1&osd.1
device&2&osd.2
device&3&osd.3
device&4&osd.4
device&5&osd.5
device&6&osd.6
device&7&osd.7
device&8&osd.8
device&9&osd.9
device&10&osd.10
device&11&osd.11
device&12&osd.12
device&13&osd.13
device&14&osd.14
device&15&osd.15
device&16&osd.16
device&17&osd.17
device&18&device18
device&19&osd.19
device&20&osd.20
device&21&osd.21
device&22&osd.22
device&23&osd.23
device&24&osd.24
device&25&osd.25
device&26&osd.26
device&27&osd.27
device&28&osd.28
device&29&osd.29
device&30&osd.30
device&31&osd.31
device&32&osd.32
device&33&osd.33
device&34&osd.34
device&35&osd.35
device&36&osd.36
device&37&osd.37
device&38&osd.38
device&39&osd.39
device&40&osd.40
device&41&osd.41
device&42&osd.42
device&43&osd.43
device&44&osd.44
device&45&osd.45
device&46&osd.46
type&0&osd
type&1&host
type&2&chassis
type&3&rack
type&4&row
type&5&pdu
type&6&pod
type&7&room
type&8&datacenter
type&9&region
type&10&root
host&ck-ceph-osd1&{
&&id&-2&&&#&do&not&change&unnecessarily
&&#&weight&6.481
&&alg&straw
&&hash&0&&#&rjenkins1
&&item&osd.0&weight&0.540
&&item&osd.1&weight&0.540
&&item&osd.2&weight&0.540
&&item&osd.3&weight&0.540
&&item&osd.4&weight&0.540
&&item&osd.5&weight&0.540
&&item&osd.6&weight&0.540
&&item&osd.7&weight&0.540
&&item&osd.8&weight&0.540
&&item&osd.9&weight&0.540
&&item&osd.10&weight&0.540
&&item&osd.11&weight&0.540
host&ck-ceph-osd2&{
&&id&-3&&&#&do&not&change&unnecessarily
&&#&weight&8.641
&&alg&straw
&&hash&0&&#&rjenkins1
&&item&osd.12&weight&0.540
&&item&osd.13&weight&0.540
&&item&osd.14&weight&0.540
&&item&osd.15&weight&0.540
&&item&osd.16&weight&0.540
&&item&osd.17&weight&0.540
&&item&osd.19&weight&0.540
&&item&osd.20&weight&0.540
&&item&osd.21&weight&0.540
&&item&osd.22&weight&0.540
&&item&osd.23&weight&0.540
&&item&osd.24&weight&0.540
&&item&osd.25&weight&0.540
&&item&osd.26&weight&0.540
&&item&osd.27&weight&0.540
&&item&osd.28&weight&0.540
host&ck-ceph-osd3&{
&&id&-4&&&#&do&not&change&unnecessarily
&&#&weight&6.481
&&alg&straw
&&hash&0&&#&rjenkins1
&&item&osd.29&weight&0.540
&&item&osd.30&weight&0.540
&&item&osd.31&weight&0.540
&&item&osd.32&weight&0.540
&&item&osd.33&weight&0.540
&&item&osd.34&weight&0.540
&&item&osd.35&weight&0.540
&&item&osd.36&weight&0.540
&&item&osd.37&weight&0.540
&&item&osd.38&weight&0.540
&&item&osd.39&weight&0.540
&&item&osd.40&weight&0.540
host&ck-ceph-osd4&{
&&id&-5&&&#&do&not&change&unnecessarily
&&#&weight&21.789
&&alg&straw
&&hash&0&&#&rjenkins1
&&item&osd.41&weight&3.631
&&item&osd.42&weight&3.631
&&item&osd.43&weight&3.631
&&item&osd.44&weight&3.631
&&item&osd.45&weight&3.631
&&item&osd.46&weight&3.631
root&default&{
&&id&-1&&&#&do&not&change&unnecessarily
&&#&weight&43.392
&&alg&straw
&&hash&0&&#&rjenkins1
&&item&ck-ceph-osd1&weight&6.481
&&item&ck-ceph-osd2&weight&8.641
&&item&ck-ceph-osd3&weight&6.481
&&item&ck-ceph-osd4&weight&21.789
rule&replicated_ruleset&{
&&ruleset&0
&&type&replicated
&&min_size&1
&&max_size&10
&&step&take&default
&&step&chooseleaf&firstn&0&type&host
&&step&emit
#&end&crush&map2、对crushmap文件进行修改，在root default后面，创建2个新的osd root域，分别是sas-15（对于sas 15k硬盘）与sas-7（对于sas 7.2k硬盘）root&sas-10&{
&&&&&&&&id&-6
&&alg&straw
&&&&&&&&item&osd.0&weight&0.540
&&&&&&&&item&osd.1&weight&0.540
&&&&&&&&item&osd.2&weight&0.540
&&&&&&&&item&osd.3&weight&0.540
&&&&&&&&item&osd.4&weight&0.540
&&&&&&&&item&osd.5&weight&0.540
&&&&&&&&item&osd.6&weight&0.540
&&&&&&&&item&osd.7&weight&0.540
&&&&&&&&item&osd.8&weight&0.540
&&&&&&&&item&osd.9&weight&0.540
&&&&&&&&item&osd.10&weight&0.540
&&&&&&&&item&osd.11&weight&0.540
&&&&&&&&item&osd.12&weight&0.540
&&&&&&&&item&osd.13&weight&0.540
&&&&&&&&item&osd.14&weight&0.540
&&&&&&&&item&osd.15&weight&0.540
&&&&&&&&item&osd.16&weight&0.540
&&&&&&&&item&osd.17&weight&0.540
&&&&&&&&item&osd.19&weight&0.540
&&&&&&&&item&osd.20&weight&0.540
&&&&&&&&item&osd.21&weight&0.540
&&&&&&&&item&osd.22&weight&0.540
&&&&&&&&item&osd.23&weight&0.540
&&&&&&&&item&osd.24&weight&0.540
&&&&&&&&item&osd.25&weight&0.540
&&&&&&&&item&osd.26&weight&0.540
&&&&&&&&item&osd.27&weight&0.540
&&&&&&&&item&osd.28&weight&0.540
&&&&&&&&item&osd.29&weight&0.540
&&&&&&&&item&osd.30&weight&0.540
&&&&&&&&item&osd.31&weight&0.540
&&&&&&&&item&osd.32&weight&0.540
&&&&&&&&item&osd.33&weight&0.540
&&&&&&&&item&osd.34&weight&0.540
&&&&&&&&item&osd.35&weight&0.540
&&&&&&&&item&osd.36&weight&0.540
&&&&&&&&item&osd.37&weight&0.540
&&&&&&&&item&osd.38&weight&0.540
&&&&&&&&item&osd.39&weight&0.540
&&&&&&&&item&osd.40&weight&0.540
}id是参考上面的id，累加就行，alg与hash不需要动，然后把对于sas 15k的硬盘osd都加入到sas-10里下面是把sas 7.2k的osd都加入到sas-7里root&sas-7&{
&&&&&&&&id&-7
&&&&&&&&alg&straw
&&&&&&&&hash&0
&&&&&&&&item&osd.41&weight&3.631
&&&&&&&&item&osd.42&weight&3.631
&&&&&&&&item&osd.43&weight&3.631
&&&&&&&&item&osd.44&weight&3.631
&&&&&&&&item&osd.45&weight&3.631
&&&&&&&&item&osd.46&weight&3.631
}3、下面是新增crush rule规则，这个规则是为了做匹配使用,设置哪些池子使用什么osd，在rule replicated_ruleset后面添加rule&sas-15-pool&{
&&&&&&&&ruleset&1
&&&&&&&&type&replicated
&&&&&&&&min_size&1
&&&&&&&&max_size&10
&&&&&&&&step&take&sas-15
&&&&&&&&step&chooseleaf&firstn&0&type&osd
&&&&&&&&step&emit
rule&sas-7-pool&{
&&&&&&&&ruleset&2
&&&&&&&&type&replicated
&&&&&&&&min_size&1
&&&&&&&&max_size&10
&&&&&&&&step&take&sas-7
&&&&&&&&step&chooseleaf&firstn&0&type&osd
&&&&&&&&step&emit
}4、把规则注入到集群下面是完整的规则[&ck-ceph-cluster]$&cat&default-crushmapdump-decompiled
#&begin&crush&map
tunable&choose_local_tries&0
tunable&choose_local_fallback_tries&0
tunable&choose_total_tries&50
tunable&chooseleaf_descend_once&1
tunable&chooseleaf_vary_r&1
tunable&straw_calc_version&1
device&0&osd.0
device&1&osd.1
device&2&osd.2
device&3&osd.3
device&4&osd.4
device&5&osd.5
device&6&osd.6
device&7&osd.7
device&8&osd.8
device&9&osd.9
device&10&osd.10
device&11&osd.11
device&12&osd.12
device&13&osd.13
device&14&osd.14
device&15&osd.15
device&16&osd.16
device&17&osd.17
device&18&device18
device&19&osd.19
device&20&osd.20
device&21&osd.21
device&22&osd.22
device&23&osd.23
device&24&osd.24
device&25&osd.25
device&26&osd.26
device&27&osd.27
device&28&osd.28
device&29&osd.29
device&30&osd.30
device&31&osd.31
device&32&osd.32
device&33&osd.33
device&34&osd.34
device&35&osd.35
device&36&osd.36
device&37&osd.37
device&38&osd.38
device&39&osd.39
device&40&osd.40
device&41&osd.41
device&42&osd.42
device&43&osd.43
device&44&osd.44
device&45&osd.45
device&46&osd.46
type&0&osd
type&1&host
type&2&chassis
type&3&rack
type&4&row
type&5&pdu
type&6&pod
type&7&room
type&8&datacenter
type&9&region
type&10&root
host&ck-ceph-osd1&{
&&id&-2&&&#&do&not&change&unnecessarily
&&#&weight&6.481
&&alg&straw
&&hash&0&&#&rjenkins1
&&item&osd.0&weight&0.540
&&item&osd.1&weight&0.540
&&item&osd.2&weight&0.540
&&item&osd.3&weight&0.540
&&item&osd.4&weight&0.540
&&item&osd.5&weight&0.540
&&item&osd.6&weight&0.540
&&item&osd.7&weight&0.540
&&item&osd.8&weight&0.540
&&item&osd.9&weight&0.540
&&item&osd.10&weight&0.540
&&item&osd.11&weight&0.540
host&ck-ceph-osd2&{
&&id&-3&&&#&do&not&change&unnecessarily
&&#&weight&8.641
&&alg&straw
&&hash&0&&#&rjenkins1
&&item&osd.12&weight&0.540
&&item&osd.13&weight&0.540
&&item&osd.14&weight&0.540
&&item&osd.15&weight&0.540
&&item&osd.16&weight&0.540
&&item&osd.17&weight&0.540
&&item&osd.19&weight&0.540
&&item&osd.20&weight&0.540
&&item&osd.21&weight&0.540
&&item&osd.22&weight&0.540
&&item&osd.23&weight&0.540
&&item&osd.24&weight&0.540
&&item&osd.25&weight&0.540
&&item&osd.26&weight&0.540
&&item&osd.27&weight&0.540
&&item&osd.28&weight&0.540
host&ck-ceph-osd3&{
&&id&-4&&&#&do&not&change&unnecessarily
&&#&weight&6.481
&&alg&straw
&&hash&0&&#&rjenkins1
&&item&osd.29&weight&0.540
&&item&osd.30&weight&0.540
&&item&osd.31&weight&0.540
&&item&osd.32&weight&0.540
&&item&osd.33&weight&0.540
&&item&osd.34&weight&0.540
&&item&osd.35&weight&0.540
&&item&osd.36&weight&0.540
&&item&osd.37&weight&0.540
&&item&osd.38&weight&0.540
&&item&osd.39&weight&0.540
&&item&osd.40&weight&0.540
host&ck-ceph-osd4&{
&&id&-5&&&#&do&not&change&unnecessarily
&&#&weight&21.789
&&alg&straw
&&hash&0&&#&rjenkins1
&&item&osd.41&weight&3.631
&&item&osd.42&weight&3.631
&&item&osd.43&weight&3.631
&&item&osd.44&weight&3.631
&&item&osd.45&weight&3.631
&&item&osd.46&weight&3.631
root&default&{
&&id&-1&&&#&do&not&change&unnecessarily
&&#&weight&43.392
&&alg&straw
&&hash&0&&#&rjenkins1
&&item&ck-ceph-osd1&weight&6.481
&&item&ck-ceph-osd2&weight&8.641
&&item&ck-ceph-osd3&weight&6.481
&&item&ck-ceph-osd4&weight&21.789
root&sas-15&{
&&&&&&&&id&-6
&&&&&&&&alg&straw
&&&&&&&&hash&0
&&&&&&&&item&osd.0&weight&0.540
&&&&&&&&item&osd.1&weight&0.540
&&&&&&&&item&osd.2&weight&0.540
&&&&&&&&item&osd.3&weight&0.540
&&&&&&&&item&osd.4&weight&0.540
&&&&&&&&item&osd.5&weight&0.540
&&&&&&&&item&osd.6&weight&0.540
&&&&&&&&item&osd.7&weight&0.540
&&&&&&&&item&osd.8&weight&0.540
&&&&&&&&item&osd.9&weight&0.540
&&&&&&&&item&osd.10&weight&0.540
&&&&&&&&item&osd.11&weight&0.540
&&&&&&&&item&osd.12&weight&0.540
&&&&&&&&item&osd.13&weight&0.540
&&&&&&&&item&osd.14&weight&0.540
&&&&&&&&item&osd.15&weight&0.540
&&&&&&&&item&osd.16&weight&0.540
&&&&&&&&item&osd.17&weight&0.540
&&&&&&&&item&osd.19&weight&0.540
&&&&&&&&item&osd.20&weight&0.540
&&&&&&&&item&osd.21&weight&0.540
&&&&&&&&item&osd.22&weight&0.540
&&&&&&&&item&osd.23&weight&0.540
&&&&&&&&item&osd.24&weight&0.540
&&&&&&&&item&osd.25&weight&0.540
&&&&&&&&item&osd.26&weight&0.540
&&&&&&&&item&osd.27&weight&0.540
&&&&&&&&item&osd.28&weight&0.540
&&&&&&&&item&osd.29&weight&0.540
&&&&&&&&item&osd.30&weight&0.540
&&&&&&&&item&osd.31&weight&0.540
&&&&&&&&item&osd.32&weight&0.540
&&&&&&&&item&osd.33&weight&0.540
&&&&&&&&item&osd.34&weight&0.540
&&&&&&&&item&osd.35&weight&0.540
&&&&&&&&item&osd.36&weight&0.540
&&&&&&&&item&osd.37&weight&0.540
&&&&&&&&item&osd.38&weight&0.540
&&&&&&&&item&osd.39&weight&0.540
&&&&&&&&item&osd.40&weight&0.540
root&sas-7&{
&&&&&&&&id&-7
&&&&&&&&alg&straw
&&&&&&&&hash&0
&&&&&&&&item&osd.41&weight&3.631
&&&&&&&&item&osd.42&weight&3.631
&&&&&&&&item&osd.43&weight&3.631
&&&&&&&&item&osd.44&weight&3.631
&&&&&&&&item&osd.45&weight&3.631
&&&&&&&&item&osd.46&weight&3.631
rule&replicated_ruleset&{
&&ruleset&0
&&type&replicated
&&min_size&1
&&max_size&10
&&step&take&default
&&step&chooseleaf&firstn&0&type&host
&&step&emit
rule&sas-15-pool&{
&&&&&&&&ruleset&1
&&&&&&&&type&replicated
&&&&&&&&min_size&1
&&&&&&&&max_size&10
&&&&&&&&step&take&sas-15
&&&&&&&&step&chooseleaf&firstn&0&type&osd
&&&&&&&&step&emit
rule&sas-7-pool&{
&&&&&&&&ruleset&2
&&&&&&&&type&replicated
&&&&&&&&min_size&1
&&&&&&&&max_size&10
&&&&&&&&step&take&sas-7
&&&&&&&&step&chooseleaf&firstn&0&type&osd
&&&&&&&&step&emit
#&end&crush&map注入集群[&ck-ceph-cluster]$&crushtool&-c&default-crushmapdump-decompiled&-o&default-crushmapdump-compiled
[&ck-ceph-cluster]$&ceph&osd&setcrushmap&-i&default-crushmapdump-compiled
set&crush&map应用后查看osd tree[&ck-ceph-cluster]$&ceph&osd&tree
ID&WEIGHT&&&TYPE&NAME&&&&&&&&&&&&&UP/DOWN&REWEIGHT&PRIMARY-AFFINITY
-7&21.78598&root&sas-7
41&&3.63100&&&&&osd.41&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
42&&3.63100&&&&&osd.42&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
43&&3.63100&&&&&osd.43&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
44&&3.63100&&&&&osd.44&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
45&&3.63100&&&&&osd.45&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
46&&3.63100&&&&&osd.46&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
-6&21.59973&root&sas-15
&0&&0.53999&&&&&osd.0&&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&1&&0.53999&&&&&osd.1&&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&2&&0.53999&&&&&osd.2&&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&3&&0.53999&&&&&osd.3&&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&4&&0.53999&&&&&osd.4&&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&5&&0.53999&&&&&osd.5&&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&6&&0.53999&&&&&osd.6&&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&7&&0.53999&&&&&osd.7&&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&8&&0.53999&&&&&osd.8&&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&9&&0.53999&&&&&osd.9&&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
10&&0.53999&&&&&osd.10&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
11&&0.53999&&&&&osd.11&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
12&&0.53999&&&&&osd.12&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
13&&0.53999&&&&&osd.13&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
14&&0.53999&&&&&osd.14&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
15&&0.53999&&&&&osd.15&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
16&&0.53999&&&&&osd.16&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
17&&0.53999&&&&&osd.17&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
19&&0.53999&&&&&osd.19&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
20&&0.53999&&&&&osd.20&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
21&&0.53999&&&&&osd.21&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
22&&0.53999&&&&&osd.22&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
23&&0.53999&&&&&osd.23&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
24&&0.53999&&&&&osd.24&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
25&&0.53999&&&&&osd.25&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
26&&0.53999&&&&&osd.26&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
27&&0.53999&&&&&osd.27&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
28&&0.53999&&&&&osd.28&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
29&&0.53999&&&&&osd.29&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
30&&0.53999&&&&&osd.30&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
31&&0.53999&&&&&osd.31&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
32&&0.53999&&&&&osd.32&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
33&&0.53999&&&&&osd.33&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
34&&0.53999&&&&&osd.34&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
35&&0.53999&&&&&osd.35&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
36&&0.53999&&&&&osd.36&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
37&&0.53999&&&&&osd.37&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
38&&0.53999&&&&&osd.38&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
39&&0.53999&&&&&osd.39&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
40&&0.53999&&&&&osd.40&&&&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
-1&43.39195&root&default
-2&&6.48099&&&&&host&ck-ceph-osd1
&0&&0.53999&&&&&&&&&osd.0&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&1&&0.53999&&&&&&&&&osd.1&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&2&&0.53999&&&&&&&&&osd.2&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&3&&0.53999&&&&&&&&&osd.3&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&4&&0.53999&&&&&&&&&osd.4&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&5&&0.53999&&&&&&&&&osd.5&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&6&&0.53999&&&&&&&&&osd.6&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&7&&0.53999&&&&&&&&&osd.7&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&8&&0.53999&&&&&&&&&osd.8&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
&9&&0.53999&&&&&&&&&osd.9&&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
10&&0.53999&&&&&&&&&osd.10&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
11&&0.53999&&&&&&&&&osd.11&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
-3&&8.64099&&&&&host&ck-ceph-osd2
12&&0.53999&&&&&&&&&osd.12&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
13&&0.53999&&&&&&&&&osd.13&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
14&&0.53999&&&&&&&&&osd.14&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
15&&0.53999&&&&&&&&&osd.15&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
16&&0.53999&&&&&&&&&osd.16&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
17&&0.53999&&&&&&&&&osd.17&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
19&&0.53999&&&&&&&&&osd.19&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
20&&0.53999&&&&&&&&&osd.20&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
21&&0.53999&&&&&&&&&osd.21&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
22&&0.53999&&&&&&&&&osd.22&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
23&&0.53999&&&&&&&&&osd.23&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
24&&0.53999&&&&&&&&&osd.24&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
25&&0.53999&&&&&&&&&osd.25&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
26&&0.53999&&&&&&&&&osd.26&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
27&&0.53999&&&&&&&&&osd.27&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
28&&0.53999&&&&&&&&&osd.28&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
-4&&6.48099&&&&&host&ck-ceph-osd3
29&&0.53999&&&&&&&&&osd.29&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
30&&0.53999&&&&&&&&&osd.30&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
31&&0.53999&&&&&&&&&osd.31&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
32&&0.53999&&&&&&&&&osd.32&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
33&&0.53999&&&&&&&&&osd.33&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
34&&0.53999&&&&&&&&&osd.34&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
35&&0.53999&&&&&&&&&osd.35&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
36&&0.53999&&&&&&&&&osd.36&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
37&&0.53999&&&&&&&&&osd.37&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
38&&0.53999&&&&&&&&&osd.38&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
39&&0.53999&&&&&&&&&osd.39&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
40&&0.53999&&&&&&&&&osd.40&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
-5&21.78899&&&&&host&ck-ceph-osd4
41&&3.63100&&&&&&&&&osd.41&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
42&&3.63100&&&&&&&&&osd.42&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
43&&3.63100&&&&&&&&&osd.43&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
44&&3.63100&&&&&&&&&osd.44&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
45&&3.63100&&&&&&&&&osd.45&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.00000
46&&3.63100&&&&&&&&&osd.46&&&&&&&&&&&&&up&&1.00000&&&&&&&&&&1.000005、下面是创建池子[&ck-ceph-cluster]$&ceph&osd&pool&create&sas-15-pool&
pool&‘sas-15-pool‘&created
[&ck-ceph-cluster]$&ceph&osd&dump|grep&sas
pool&1&‘sas-15-pool‘&replicated&size&2&min_size&2&crush_ruleset&0&object_hash&rjenkins&pg_num&1024&pgp_num&1024&last_change&240&flags&hashpspool&stripe_width&0这个池子名称要跟之前配置文件里rule设置的一样，下面是设置crush规则，让刚才这个sas-15-pool能应用到配置文件里对应池子[&ck-ceph-cluster]$&ceph&osd&pool&set&sas-15-pool&crush_ruleset&1
set&pool&1&crush_ruleset&to&1
[&ck-ceph-cluster]$&ceph&osd&dump|grep&sas
pool&1&‘sas-15-pool‘&replicated&size&2&min_size&2&crush_ruleset&1&object_hash&rjenkins&pg_num&1024&pgp_num&1024&last_change&242&flags&hashpspool&stripe_width&0sas 15k的池子配置好了，下面是配置sas 7.2k的池子[&ck-ceph-cluster]$&ceph&osd&pool&create&sas-7-pool&256&256
pool&‘sas-7-pool‘&created
[&ck-ceph-cluster]$&ceph&osd&dump|grep&sas-7
pool&2&‘sas-7-pool‘&replicated&size&2&min_size&2&crush_ruleset&0&object_hash&rjenkins&pg_num&256&pgp_num&256&last_change&244&flags&hashpspool&stripe_width&0
[&ck-ceph-cluster]$&ceph&osd&pool&set&sas-7-pool&crush_ruleset&2
set&pool&2&crush_ruleset&to&2
[&ck-ceph-cluster]$&ceph&osd&dump|grep&sas-7
pool&2&‘sas-7-pool‘&replicated&size&2&min_size&2&crush_ruleset&2&object_hash&rjenkins&pg_num&256&pgp_num&256&last_change&246&flags&hashpspool&stripe_width&0查看集群存储空间使用40个sas 15k 600g与6个sas 7.2k4T弄的存储，副本2份所以sas 15k的话，可用空间是12t，sas 7.2k的话也是12t&[&ck-ceph-cluster]$&ceph&df
&&&&SIZE&&&&&&&AVAIL&&&&&&RAW&USED&&&&&%RAW&USED
&&&&44436G&&&&&44434G&&&&&&&&1904M&&&&&&&&&&&&&0
&&&&NAME&&&&&&&&&&&&ID&&&&&USED&&&&&%USED&&&&&MAX&AVAIL&&&&&OBJECTS
&&&&rbd&&&&&&&&&&&&&0&&&&&&&&&0&&&&&&&&&0&&&&&&&&22216G&&&&&&&&&&&0
&&&&sas-15-pool&&&&&1&&&&&&&&&0&&&&&&&&&0&&&&&&&&11061G&&&&&&&&&&&0
&&&&sas-7-pool&&&&&&2&&&&&&&&&0&&&&&&&&&0&&&&&&&&11155G&&&&&&&&&&&0
[&ck-ceph-cluster]$&rados&df
pool&name&&&&&&&&&&&&&&&&&KB&&&&&&objects&&&&&&&clones&&&&&degraded&&&&&&unfound&&&&&&&&&&&rd&&&&&&&&rd&KB&&&&&&&&&&&wr&&&&&&&&wr&KB
rbd&&&&&&&&&&&&&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0
sas-15-pool&&&&&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0
sas-7-pool&&&&&&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0&&&&&&&&&&&&0
&&total&used&&&&&&&&&1950412&&&&&&&&&&&&0
&&total&avail&&&&
&&total&space&&&&有问题博客留言，我看到会及时答复。本文出自 “” 博客，请务必保留此出处标签：&&&&&&&&&&&&
&&国之画&&&& &&&&chrome插件
版权所有 京ICP备号-2
迷上了代码！}