• 如何低成本、高效率搭建Hadoop/Spark大数据处理平台


    原文链接

    随着人们逐渐认识到 “大数据”的价值,互联网、电商到金融业、政企等各行业开始处理海量数据。如何低成本、敏捷高效地搭建大数据处理平台,成为影响大数据创新效率的关键。

    image

    为了让用户以最简便地方式享用阿里云全球资源,在云端构建敏捷弹性、高可靠和高性价比的大数据平台,近日,阿里云在成都云栖大会上发布了一款Hadoop/Spark场景专用的ECS存储优化型实例D1规格族,单实例提供最高56核CPU,224GB内存,168TB本地盘容量,5GB/S总吞吐,PPS达120万+。这对Hadoop/Spark技术爱好者来说是个非常大的福音,用户可以轻松在D1上搭建大数据存储与计算分析平台,尤其是互联网、金融、电商、政企等对大数据需求旺盛的行业。
    据悉,在云端建设大数据平台的建设周期仅需“数分钟”,比传统模式下缩短95%以上;项目建设成本从一次性重资产投入,变为轻资产分期使用,初期建设成本降低80%以上。
    不妨一起来看看,相比传统的Hadoop/Spark场景解决方案,D1都有哪些优势:

    •按需部署和弹性灵活

    传统大数据平台有几个通病:建设周期过长,扩容不便,因此一般都会适当放大大数据建设规模,造成早期资源闲置浪费,也埋下了后期资源不足的隐患,影响业务发展。云计算很早就解决了弹性建设的问题,我们可以按需进行大数据平台建设,并伴随业务的增长而快速弹性伸缩,企业可以做到按需支付成本。
    此外,Hadoop/Spark大数据生态系统中组件众多,每种组件对硬件资源的要求不同,而传统大数据平台建设中,往往很难兼顾资源需求上的差异。D1和其他独享型规格族提供了不同的配置,可以为每个Hadoop/Spark组件节点“量体裁衣”来选择实例,最大限度避免资源浪费。

    image

    当遇到临时性突发的大数据分析需求时,借助阿里云大数据平台的规模和分析能力,可以快速获得需要的结果,当任务完成后,又能立即释放资源,节省成本。

    •性价比

    阿里云D1实例采用独享计算架构+本地存储设计,CPU的计算性能在实例间是独享的,这种设计能有效保障大数据计算能力的稳定性。配备高性能企业级6TB SATA硬盘,D1单实例的存储吞吐能力可以达到最大5GB/s,有效缩短HDFS文件读取和写入时间。基于阿里云SDN和网络加速技术,D1在10GE组网环境下,最大可提供20Gbps网络带宽,可满足大数据分析节点间数据交互需求,例如MapReduce计算框架下Shuffle过程等,缩短分析任务整体运行时间。
    最重要的一点是,阿里云在D1上做了非常大的交付创新,支持包月、包年的预付费支付模式,同时也支持按小时付费的使用模型,真正做到即开即用,按量付费,没有运维,钱不浪费,云本身的弹性优势就很明显,加上业务上的优化,确实加分不少。

    •可靠性


    image

    这次云栖大会,阿里云还推出了一个ECS独有的部署集(Deployment Set)机制,可以保证用户采用D1实例构建大数据平台时,在任何规模下都可以充分将实例按业务可靠性要求,在阿里云数据中心中,进行机架、交换机、可用区等级别容灾保护。同时,还可以充分享用阿里云全球高效、稳定的机房和网络基础设施,大大降低客户建设复杂度和成本。这在传统模式下是很难做到,既能做到全局的安全性又能做到局部的弹性伸缩,或许,这就是云的终极形态吧。
    总之还是非常推荐这款D1实例的,中大型企业对大数据处理平台的稳定性、性价比、部署周期都有比较强的要求的可以考虑一下。

    原文链接

  • 相关阅读:
    C++:delete和delete[]释放内存的区别
    C++:四种必须使用初始化列表情况
    C++:获取数组长度
    C++:构造函数默认的参数声明
    java 的开源wiki维基系统
    openfire 最大连接数调优
    即时通讯服务器的对比
    分分钟带你玩转 Web Services
    让git忽略ignore所有文件,只对某些文件进行版本控制
    miracast 协议wifi display
  • 原文地址:https://www.cnblogs.com/iyulang/p/6933070.html
Copyright © 2020-2023  润新知