• “德国战车”成了“老爷车”? 卫冕前景令人担忧 2019-09-16
  • 比iPad更白菜价:给自己个喜新厌旧换平板的理由 2019-09-09
  • 网友建言——黄河新闻网 2019-09-07
  • 打造时尚达人般的理想生活-热门标签-华商网数码 2019-09-06
  • “爸爸是交警”刷屏朋友圈  我用各种姿势陪你 2019-09-02
  • 马克思主义通过指导无产阶级革命建立起部分社会财富公有制而改变了人类历史发展进程,离开部分社会财富公有制的建立来谈“改变人类历史发展进程”纯粹是无稽之谈。 2019-09-02
  • 谌龙,男羽的大旗你不扛也得扛 2019-08-31
  • [酷]此文已经把马克思理论、边际理论、人类需求层次理论、生物学理论、心理学理论、社会管理学理论等理论在哲学层面完美融合了! 2019-08-31
  • 凤凰网旅游发布大风号政府旅游影响力榜单(2018年5月) 2019-08-30
  • 中国动力电池市场竞争加剧 70家公司仅占3成份额 2019-08-30
  • 端午节假期间全国道路交通平稳有序 2019-08-29
  • 你把我抱紧 我帮你扶伞 2019-08-17
  • 榕城监狱及时调解服刑人员家属建房纠纷 2019-08-15
  • 市委把全国两会精神原汁原味传达到基层 2019-08-15
  • 大同能源革命跑出发展“加速度” 2019-08-14
  • 当前位置:山西十一选五遗漏10-建站教程-数据库教程-MongoDB-MongoDB聚合分组取第一条记录的案例与实现方法

    山西十一选五开奖结果:MongoDB聚合分组取第一条记录的案例与实现方法

    文章TAG:mongodb 聚合分组
    时间:2019-02-18来源/作者:东山絮柳仔 编辑:源码库 文章热度:

    山西十一选五遗漏10 www.fqjb.net 前言

    今天开发同学向我们提了一个紧急的需求,从集合mt_resources_access_log中,根据字段refererDomain分组,取分组中最近一笔插入的数据,然后将这些符合条件的数据导入到集合mt_resources_access_log_new中。

    接到这个需求,还是有些心虚的,原因有二,一是,业务需要,时间紧;二是,实现这个功能MongoDB聚合感觉有些复杂,聚合要走好多步。

    数据记录格式如下:

    记录1
    
    {
     "_id" : ObjectId("5c1e23eaa66bf62c0c390afb"),
     "_class" : "C1",
     "resourceUrl" : "/static/js/p.js",
     "refererDomain" : "1234",
     "resourceType" : "static_resource",
     "ip" : "17.17.13.13",
     "createTime" : ISODate("2018-12-22T19:45:46.015+08:00"),
     "disabled" : 0
    }
    
    记录2
    
    {
     "_id" : ObjectId("5c1e23eaa66bf62c0c390afb"),
     "_class" : "C1",
     "resourceUrl" : "/static/js/p.js",
     "refererDomain" : "1234",
     "resourceType" : "Dome_resource",
     "ip" : "17.17.13.14",
     "createTime" : ISODate("2018-12-21T19:45:46.015+08:00"),
     "disabled" : 0
    }
    
    记录3
    
    {
     "_id" : ObjectId("5c1e23eaa66bf62c0c390afb"),
     "_class" : "C2",
     "resourceUrl" : "/static/js/p.js",
     "refererDomain" : "1235",
     "resourceType" : "static_resource",
     "ip" : "17.17.13.13",
     "createTime" : ISODate("2018-12-20T19:45:46.015+08:00"),
     "disabled" : 0
    }
    记录4
    
    {
     "_id" : ObjectId("5c1e23eaa66bf62c0c390afb"),
     "_class" : "C2",
     "resourceUrl" : "/static/js/p.js",
     "refererDomain" : "1235",
     "resourceType" : "Dome_resource",
     "ip" : "17.17.13.13",
     "createTime" : ISODate("2018-12-20T19:45:46.015+08:00"),
     "disabled" : 0
    }

    以上是我们的4条记录,类似的记录文档有1500W。

    因为情况特殊,业务发版需要这些数据。催的比较急,而 通过 聚合 框架aggregate,短时间有没有思路, 所以,当时就想着尝试采用其他方案。

    最后,问题处理方案如下。

    Step 1 通过聚合框架 根据条件要求先分组,并将新生成的数据输出到集合mt_resources_access_log20190122 中(共产生95笔数据);

    实现代码如下:

    db.log_resources_access_collect.aggregate(
          [
          
          { $group: { _id: "$refererDomain" } },
          { $out : "mt_resources_access_log20190122" }
          ]
     
         )

    Step 2 通过2次 forEach操作,循环处理 mt_resources_access_log20190122和mt_resources_access_log的数据。

    代码解释,处理的逻辑为,循环逐笔取出mt_resources_access_log20190122的数据(共95笔),每笔逐行加工处理,处理的逻辑主要是 根据自己的_id字段数据(此字段来自mt_resources_access_log聚合前的refererDomain字段), 去和 mt_resources_access_log的字段 refererDomain比对,查询出符合此条件的数据,并且是按_id 倒序,仅取一笔,最后将Join刷选后的数据Insert到集合mt_resources_access_log_new。

    新集合也是95笔数据。

    大家不用担心性能,查询语句在1S内实现了结果查询。

    db.mt_resources_access_log20190122.find({}).forEach(
     function(x) {
      db.mt_resources_access_log.find({ "refererDomain": x._id }).sort({ _id: -1 }).limit(1).forEach(
       function(y) {
        db.mt_resources_access_log_new.insert(y)
       }
      )
     }
    )

    Step 3 查询验证新产生的集合mt_resources_access_log_new,结果符合业务要求。

    刷选前集合mt_resources_access_log的数据量为1500多W。

    刷选后产生新的集合mt_resources_access_log_new 数据量为95笔。

    MongoDB,聚合分组

    注意:根据时间排序的要求,因为部分文档没有createTime字段类型,且 createTime字段上没有创建索引,所以未了符合按时间排序我们采用了sort({_id:1})的变通方法,因为_id 还有时间的意义。下面的内容为MongoDB对应_id 的相关知识。

    最重要的是前4个字节包含着标准的Unix时间戳。后面3个字节是机器ID,紧接着是2个字节的进程ID。最后3个字节存储的是进程本地计数器。计数器可以保证同一个进程和同一时刻内不会重复。

    总结

    以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对ASPKU源码库的支持。


    注:相关教程知识阅读请移步到MongoDB频道。
    相关MongoDB
    热门标签

  • “德国战车”成了“老爷车”? 卫冕前景令人担忧 2019-09-16
  • 比iPad更白菜价:给自己个喜新厌旧换平板的理由 2019-09-09
  • 网友建言——黄河新闻网 2019-09-07
  • 打造时尚达人般的理想生活-热门标签-华商网数码 2019-09-06
  • “爸爸是交警”刷屏朋友圈  我用各种姿势陪你 2019-09-02
  • 马克思主义通过指导无产阶级革命建立起部分社会财富公有制而改变了人类历史发展进程,离开部分社会财富公有制的建立来谈“改变人类历史发展进程”纯粹是无稽之谈。 2019-09-02
  • 谌龙,男羽的大旗你不扛也得扛 2019-08-31
  • [酷]此文已经把马克思理论、边际理论、人类需求层次理论、生物学理论、心理学理论、社会管理学理论等理论在哲学层面完美融合了! 2019-08-31
  • 凤凰网旅游发布大风号政府旅游影响力榜单(2018年5月) 2019-08-30
  • 中国动力电池市场竞争加剧 70家公司仅占3成份额 2019-08-30
  • 端午节假期间全国道路交通平稳有序 2019-08-29
  • 你把我抱紧 我帮你扶伞 2019-08-17
  • 榕城监狱及时调解服刑人员家属建房纠纷 2019-08-15
  • 市委把全国两会精神原汁原味传达到基层 2019-08-15
  • 大同能源革命跑出发展“加速度” 2019-08-14
  • 朝鲜女足vs中国女足 竞彩足球指数分析法 闲和庄娱乐城投注网 中国福彩网辽宁 篮球打法规则 七星彩明月珰 txt网盘 期期三肖中特平特一肖 彩票中奖新闻 东方心经码报图 新加坡快乐8开奖和值 广东彩票软件 欢乐升级拖拉机安卓版下载 打羽毛球小游戏下载 北京快三连线走势图 官网重庆快3开奖结果