• samoa简单介绍


    其实内容都是从官网来的,不过官网是英文的,想看的大家可以看下,希望可以帮到大家。

    论文名称:SAMOA: Scalable Advanced Massive Online Analysis

    来自于:IEEE journal of machine learning research

    背景知识:

     

    流数据:

    1.数据实时达到。

    2.数据到达依次独立,处理系统无法处理数据的到达顺序。

    3.数据量巨大,不能预知大小

    4.单次扫描,被处理后就被抛弃或存档,以后想再获取使用这些数据很困难。

    数据来源:

    用户点击,搜索查询,新闻,微博,金融股票,信用卡交易,日志等等。

    常用平台:S4,Storm,Samza.

    Apache SAMOA is a distributed streaming machine learning (ML) framework that contains a programing abstraction for distributed streaming ML algorithms

    一个可用于开发分布式流机器学习算法的框架,包含最先进的分布式流机器学习算法库。

    1.samoa (Scalable Advanced Massive Online Analysis)is a platform for mining big  data streams (De Francisci Morales, 2013). Written in java. 

    2.It’s also a library. Provide classify,cluster,regression(回归)。

    Classify :VHT --Vertical Hoeffding Tree --流信息决策树的一个分布式版本。

    Clustering:一种基于ClusterStream的算法.

    meta-algorithms(集成学习算法): such as bagging and boosting

    集成学习:所谓的集成学习,就是用多重或多个弱分类器结合为一个强分类器,从而达到提升分类方法效果。

    Bagging:将原始数据随机采样,形成N个子数据集,分布训练得到N个弱分类器,然后将结果合并,例如用得到的N个弱分类器,投票决定分类结果。

    例如(1,1,0),结果为1.

    Boosting: Bagging的加强版,区别是每次弱分类是一个不断迭代的过程,将上次分错的数据迭代进下一次分类,使得下次分类尽可能将错误数据分对,这样就可以使得最后综合时,尽可能的将错误数据分对。这种迭代将使结果无限接近最优分类,但是因为更加倾向于处理分错的样本,使得离群的错误样本会影响分类效果。此外,相对于Bagging,在最后的融合时,对于各个分类器的分类结果是有权重的,而bagging中,每个分类器权重相同。

  • 相关阅读:
    http协议学习系列
    git常用命令大全
    git常用命令与常见面试题总结
    MyBatis框架及原理分析
    Mybatis常见面试题总结
    java实现克隆的三种(很最全面)
    java中equals和==之间的区别?clone方法的作用,及其为什么要使用clone方法?如何使用clone复制对象?以及深克隆浅克隆
    ThreadLocal的简单使用及实现的原理
    Java 最常见的 208 道面试题
    TCP流量控制
  • 原文地址:https://www.cnblogs.com/caicai-bird/p/4739530.html
Copyright © 2020-2023  润新知