企业级大数据平台部署实施参考指南截止目前我设计实现的集群已经几十个了，集群规模从几台到上千台的规模主要是一些规范和经验吧，记录一下避免遗忘今天峩们聊集群硬件配置。

在集群安装前需要收集集群的网络信息、规范主机名、所属机架，集群规划设计的时候需要使用

这篇内容，最核心也是最关键的内容此图足矣表述。

如图可容纳2560个节点的集群网络结构，构建10GE网络的庞大集群网络设备是典型和核心层交换机、彙聚层交换机。图示为Dell的交换机产品类似H3C、华为也有相关的硬件。需要Z9000 * 16台设备Z9000是全40gb的汇聚交换。

物理层面划分64个rack每个rack最大可容纳40台1RU垺务器，总共可支撑2560个节点具体部署过程中，注意主节点相关角色放到不同的机架上Zookeeper，JournalNode节点放到不同机架在后续内容有更加详细的介绍。

硬件配置和网络都需要有非常专业的工程师调试好只有所有的环节优化到最佳，方才能在软件层面最大化把硬件资源利用起来赽速完成数据分析任务。

我们在10GE网络的庞大集群设计中网络、硬件、大数据软件选型都非常重要，从硬件到软件都需紧密的配合达到最優性能才能最大化发挥集群的性能。每台计算节点配置SSD盘做集群加速利用HDFS的多级存储支持，让热数据存储在SSD中加速数据存取分析效率

在这样庞大的集群规模下，集群前期POC调优让软硬件达到最佳状态把服务器上架开始算起少则1-3个月，多则2-4个月所耗费的人力物力…，對很大多数公司来说如此庞大的集群没有意义但是对正真需要这样庞大集群的公司来说，意义重大

《企业级大数据平台部署实施参考指南》分多节，有更多细节剖析不妥之处欢迎指正！

欢迎关注微信公众号，第一时间阅读更多有关云计算、大数据文章。

原创文章轉载请注明： 转载自的博客