• 双十一流量洪峰 支撑阿里核心业务的云数据库揭秘


    背景介绍

    今年双十一又有新纪录刷新,21秒成交额超10亿,数据瞬间膨胀到PB级,包裹数亿级,严苛的指标对数据库产品提出了更严格的需求。HybridDB作为阿里云自研的HTAP数据库经受住了流量洪峰的考验,顺利的完成了2019年双十一的保障工作。

    HybridDB在阿里集团内广泛应用。比如为几十万商家提供数据驱动的店铺智能服务,也为几千小二提供了高效的数据化服务产品,大大提高生产效率。同时盒马实时交易大盘使用HybridDB实现盒马全链路的数据实时闭环,支撑1000多张表的复杂查询,平均查询延迟1秒以内,大大提高了新零售的数据化能力。菜鸟仓储实时在线数仓,基于HybridDB for MySQL构建了容纳核心的订单、包裹、库存及时效等全链路数据,目前已经成长为菜鸟仓储业务的数据化产品基石。HybridDB承接ECS、RDS、CDN、SLB等阿里云核心业务提供实时监控数据的存储、计算服务,支撑了四大件产品双十一实时监控大屏,为阿里云双十一保驾护航。

    目前HybridDB for MySQL支持高性能事务存储规格和高性能分析计算规格,融合了在线OLTP和实时OLAP业务,实现了HTAP能力的统一。以视频云相关场景为例,简要介绍,在高吞吐中心场景中的应用,实际业务场景会比本文复杂。

    阿里云视频云业务

    阿里云视频云典型场景如下:

    78f812f37e386a9f3d604a9b8276b82b27b8750e

    视频用户的在线类业务,如作业提交、转码工作流控制、推流索引等,直接坐落在HybridDB for MySQL上,实时事务tps高达5万,历史作业数据可保存5年以上;

    视频云技术架构的在线实时分析和离线分析类业务,如监控数据采集与实时分析、资源调度、监控告警灯,也采用HybridDB for MySQL解决存储计算问题,实时写入tps高达200万,数据实时可见并支持包括oracle开窗函数等在内的OLAP分析SQL;

    视频云业务的核心基于CDN技术,CDN是多地分发的内容缓存服务,其本身的性能和稳定性需要强大的监控调度能力来保障,HybridDB存储了CDN集群运转的实时负载状态,以及基于负载状态产生的各类分析结果以供集群的服务状态修正。一般数据库无法承载海量监控数据的存储和计算,大数据生态无法做到实时数据写入实时可见。CDN监控调度借助HybridDB for MySQL每秒百万行数据写入、PB级数据存储、毫秒级在线分析能力,解决十万级服务器的实时监控预警-调度反馈闭环处理问题,保障了阿里云CDN天量数据流量的安全运转。

    其他场景持续更新中,敬请期待....

     

    阅读原文​​​​​​​

  • 相关阅读:
    经常使用排序算法
    windows和Linux内存的对齐方式
    Oracle实现数据不存在则插入,数据存在则更新(insert or update)
    hysbz 2243 染色(树链剖分)
    HDU 3864 D_num Miller Rabin 质数推断+Pollard Rho大整数分解
    逆序排列
    PHP盛宴——经常使用函数集锦
    怎样 TabHostFragment自己定义 tab键(indicator)
    不是IT圈人的IT创业优劣势!
    2星|汪丁丁《经济的限度》:访谈文字稿+几篇偏专业的文章,不适合无经济学专业背景知识的读者阅读
  • 原文地址:https://www.cnblogs.com/zhaowei121/p/10007003.html
Copyright © 2020-2023  润新知