• 数据闭环服务


    一.背景

      在项目中,经常需要依赖第三方服务,比如通过rpc接口查询商品数据,然后把相关数据持久化到本系统数据库。这样会存在数据修改不同步的问题,因为卖家可以随时修改商品属性字段,但是下游系统如果不是实时查询接口,都将面临数据不同步这样的情况。

    二.常规解决方案

      最简单的做法可能是实时拉取数据,下游业务系统内存实时拉取数据再聚合完成相应的数据组装。这样就严重依赖上游接口,并且系统会出现很多冗余代码。特别是不同系统都要依赖相同接口的时候,每个系统都会实现接口调用,开发维护成本较高,不便于管理。在现有部门系统中,都会依赖商品接口,分类接口,货架组等等这些上游接口,这些接口都有一个共性,数据属性容易改变,下游系统未能及时同步,并且每个系统可能需要同步的字段各不相同。这些都会导致部门各子系统功能代码重复,相同或相关数据冗余存储,严重依赖第三方接口,降低了系统的可用性。

    三.数据闭环

      随着这样的依赖接口越来越多,业务系统各自为政,后期项目开展和维护始终会受制于此。于是乎,数据闭环提上日程。但是,该怎么做呢? 个人愚见,可以借鉴数据仓库建设来进行设计:

          1.明确业务数据主题,元数据建模

      2.实时(mq) or 定时异构同步元数据

      3.内部数据清洗组合,生成业务数据

      4.提供数据服务,赋能

      这样的做的好处是:

      1.统一管理三方依赖服务

      2.提供数据闭环服务,与第三系统解耦,提高系统可用性

      3.按需提供数据服务,灵活性强

      4.避免数据冗余存储

      

      

      

      

  • 相关阅读:
    GET or POST?
    ASP.NET AJAX简述
    C# 后台调用存储过程
    S,C,SC,表
    js判定浏览器的种类
    sql 数据表添加或删除或修改字段 alter
    sql判定数据表是否存在,存在删除,再新建表或修改表名
    sql 所有的表建好后,为表添加外键约束
    打开office弹出steup error 的解决办法
    a标签的属性
  • 原文地址:https://www.cnblogs.com/yzm2008/p/11063201.html
Copyright © 2020-2023  润新知