• 【京东基于spark的风控系统架构实践和技术细节】学习记录


    文章来源地址:https://www.infoq.cn/article/jingdong-risk-control-system-architecture-based-on-spark

    1.背景

    a)黄牛囤货:让正常用户失去了商家给予的优惠让利。

    b)商家刷单刷好评:干扰用户合理购物选择,搅乱市场秩序。

    c)机器注册账号

    d)恶意下单

    在技术层面上来讲,

    风控领域由传统的“rule-base”(基于规则判断)发展到大数据为基础的实时 + 离线双层识别。

    Hadoop,Spark 等大数据大集群分布式处理框架的不断发展为风控技术提供有效的支撑。

    2.京东天网

    “天网“作为京东风控的核心利器,目前搭建了风控专用的基于 spark 的图计算平台,主要分析维度主要包括:用户画像,用户社交关系网络,交易风险行为特性模型。

    前端业务风控系统和后端数据支撑系统

    3.前段业务风控系统

    a) 交易订单风控系统

    b) 爆品抢购风控系统

    c) 商家反刷单系统

    前端业务系统发展到今天,已经基本覆盖了交易环节的全流程,从各个维度打击各种侵害消费者利益的恶意行为。

    4.后台支撑系统

    a)风险信用服务(RCS)

    风险信用服务(RCS)是埋藏在各个业务系统下的风控核心引擎,它既支持动态规则引擎的高效在线识别,又是打通沉淀数据和业务系统的桥梁。

    它是风控数据层对外提供服务的唯一途径,重要程度和性能压力不言而喻。

    1) 各个前端业务风控系统针对各个业务场景进行风险识别,其结果数据将回流至风险库用户后续离线分析及风险值判定。

    2) 风险库针对业务风控识别进过数据进行清洗,人工验证,定义并抽取风控指标数据,经过此道工序风险库的元数据可以做到基本可用。

    3) 后台数据挖掘工具对各来源数据,依据算法对各类数据进行权重计算,计算结果将用于后续的风险值计算。

    4) 风险信用服务一旦接收到风险值查询调用,将通过在 JIMDB 缓存云中实时读取用户的风控指标数据,结合权重配置,使用欧式距离计算得出风险等级值,为各业务风控系统提供实时服务。

    5.风险数据支撑系统

  • 相关阅读:
    第一个爬虫和测试
    乒乓球比赛模拟分析
    appium入门
    node安装
    自动化测试---selenium
    自动化测试---元素定位
    Shell脚本
    Shell脚本的编写
    Linux安装jdk,mysql,tomcat
    Linux的简单使用
  • 原文地址:https://www.cnblogs.com/hongchenlianxinlu/p/12769633.html
Copyright © 2020-2023  润新知