Good纳斯NAS论坛_NAS社区_synology群晖_网络存储服务器_云存储_个人私有云 谷得_论坛

标题: NAS存储集群应用解析 [打印本页]
作者: 阳西9527    时间: 2017-12-25 15:41
标题: NAS存储集群应用解析
NAS的天然共享特性让一些集群化的应用非常受用。规模不大的集群应用场景使用NAS可谓是如鱼得水。比如，视频渲染、基因分析小规模科学计算等等。在这些小规模系统中，通常服务器数量不会太多，在百台左右量级。而且这些业务通常都是行业应用，比较专业，这些软件系统的设计开发者一般专注于业务层，而对存储层并没有投入太多的资源去做各种适配、优化，其往往要求存储层越标准越透明越好。另外，这些行业类集群化应用通常要求底层存储可以被所有服务器节点共享访问，因为这种思路最传统，最“正常”。至于分布式架构这种玩法，属于新兴玩法，总显得不是那么“像样”的感觉，当然，好好打扮打扮包装一下，大家习惯之后，最终也自成一派。



正因如此，NAS这种天然共享的存储系统被广泛用于上述这些行业集群化应用。然而在早期，由于以太网带宽相对于同时期的FC等存储专用网络而言总是差一截，尤其是像广电视频非线编这些系统，要求持续高带宽，而NAS的千兆网口吞吐量无法满足。当时，出现了两种方案来应对这个问题，第一种是将NAS集群化，NAS控制器也形成集群，但是这样做成本会显著提升。随后，以太网的发展不可同日而语，万兆普及，基本上解放了这类行业应用。到了大数据新时代，各类业务的数据处理密度也跟着大为提升了，比如视频从480P到了4K。此时几个万兆口也无法满足了，存储专用网络比如FC已经到了16G级别，但是靠一两个SAN控制器也无法满足需求。此时就只剩下集群SAN/NAS这条路可走了。在集群化场景下，集群NAS比集群SAN更加方便，因为后者还需要部署单独的集群文件系统，而且无法做到对数据的集中管理，因为在SAN设备上只能看到块设备，无法感知到其内部的文件结构，而NAS却可以。集群NAS在本质上其实就是分布式文件系统+NFS/CIFS访问协议。至此分布式架构彻底大兴其道。但是在更高的维度上，业务服务器节点与NAS之间仍然是传统的集中式访问方式，南北向流量。而在NAS内部可能存在东西向流量。 服务器与NAS之间是高吞吐量的南北向流量，这种方式对于中等规模集群是合适的，但是对于特大规模集群，集中的存储系统与业务服务器之间的距离会越来越长，导致南北向流量产生瓶颈。此时就需要另外一种存储架构来满足。规模特大的分析系统就不适合用NAS这种集中式的存储系统了，而要采用分布式存储，同时还需要从上层架构入手变更，将处理方式改为松耦合式处理，各干各的，各自只访问本地存储，这样可以避免在特大规模网络中的东西向流量，而南北向流量只被限制在本地。但是如此特大规模集群也几乎只在大规模互联网企业中存在了。

作者: 383842268    时间: 2019-7-31 11:36

提升到20.。。。。加油
作者: gf310006    时间: 2020-6-28 14:24
了解了，有帮助。谢谢！
作者: pfihka    时间: 2021-12-3 13:39
为啥成品Nas的机箱都这么好看啊



欢迎光临 Good纳斯NAS论坛_NAS社区_synology群晖_网络存储服务器_云存储_个人私有云 谷得_论坛 (http://www.goodnas.net/) Powered by Discuz! X3.1