• 使用hadoop mapreduce分析mongodb数据


    使用hadoop mapreduce分析mongodb数据

    (现在很多互联网爬虫将数据存入mongdb中,所以研究了一下,写此文档)

    版权声明:本文为yunshuxueyuan原创文章。
    如需转载请标明出处: http://www.cnblogs.com/sxt-zkys/
    QQ技术交流群:299142667

    一、 mongdb的安装和使用

    1、 官网下载mongodb-linux-x86_64-rhel70-3.2.9.tgz

     

    2、 解压 (可以配置一下环境变量)

    3、 启动服务端

    ./mongod  --dbpath=/opt/local/mongodb/data --logpath=/opt/local/mongodb/logs  --logappend  --fork(后台启动)

    第一种:不带auth认证的

     

    第二种:需要带auth认证的(即需要用户名和密码的)

     

    当指定用户名和密码在查看数据,发现就可以看得到了

     

    4、 启动客户端

    ./mongo

     

    5、客户端shell命令

    show dbs    显示mongodb中有哪些数据库

     

    db    显示当前正在用的数据库

     

    use db    你要使用的数据库名

     

    (注:若database不存在,则会创建一个,此时若不做任何操作直接退出,则MongoDB会删除该数据库)

    db.auth(username,password)  username为用户名,password为密码 登陆你要使用的数据库

    db.getCollectionNames()  查看当前数据库有哪些表

     

    db.[collectionName].insert({...})  给指定数据库添加文档记录

     

    db.[collectionName].findOne()   查找文档的第一条数据

    db.[collectionName].find()   查找文档的全部记录

     

    db.[collection].update({查询条件},{$set:{更新内容}})   更新一条文档记录

     

    db.[collection].drop()   删除数据库中的集合

     

    db.dropDatabase()   删除数据库

     

    二、 Mapreduce 分析mongodb的数据实例

     

    1、 编写mapreduce的代码前,需要另外添加两个jar包,还有需(jdk1.7以上)

      

    2、 需求介绍与实现

    原数据:

     

    结果数据:

     

    代码编写:

    Job:

     

    Mapper:

     

    Reduce:

     

    最终的结果数据:

     

    三、 最后给大家推荐一个mongodb数据库的管理工具,挺好用的

        

    版权声明:本文为yunshuxueyuan原创文章。
    如需转载请标明出处: http://www.cnblogs.com/sxt-zkys/
    QQ技术交流群:299142667

  • 相关阅读:
    JavaScript 深入了解对象中的属性
    JavaScript 开发规范
    vue 项目接口管理
    放大镜特效
    多用户ATM机(面向对象编程)
    浏览器检查块代码
    js中innerHTML与innerText的用法与区别
    symbol访问法及symbor注册表
    最常用的15个前端表单验证JS正则表达式
    数组的遍历
  • 原文地址:https://www.cnblogs.com/sxt-zkys/p/7245484.html
Copyright © 2020-2023  润新知