GV

GeezerVison

The World Wide Web, restored to 800 pixels of glory.

Home|About|Gaming cabinet|Archives|How it works|Starter sites

On this site

  • Sign in
  • ActionsCI/CD and automation
  • CodespacesCloud development environments
  • All Features
  • Documentation
  • Training
  • Certifications
  • Build with Copilot
  • Customize Copilot
  • Integrations
  • Trending repos
  • GitHub Sponsors
  • Developer articles
  • Enterprises

This view

  • Original page
  • New address

GeezerVison is showing github.com — GitHub - aspcat/mdrill: 阿里妈妈-adhoc-海量数据多维自助即席查询平台-mdrill

BranchesTags
Open more actions menu
 
 

Latest commit

 

History

51 Commits
51 Commits

Folders and files

NameName
Last commit message
Last commit date
doc
doc
 
 
release
release
 
 
software
software
 
 
trunk
trunk
 
 
LICENSE.txt
LICENSE.txt
 
 
README.md
README.md
 
 

Repository files navigation

项目简介

1:mdrill是阿里妈妈-adhoc-海量数据多维自助即席查询平台下的一个子项目。
2:mdrill旨在帮助用户在几秒到几十秒的时间内,分析百亿级别的任意维度组合的数据。
3:mdrill是一个分布式的在线分析查询系统,基于hadoop,lucene,solr,jstorm等开源系统作为实现,基于SQL的查询语法。 mdrill是一个能够对大量数据进行分布式处理的软件框架。mdrill是快速的高性能的,他的底层因使用了索引、列式存储、以及内存cache等技术,使得数据扫描的速度大为增加。mdrill是分布式的,它以并行的方式工作,通过并行处理加快处理速度。
4:基于mdrill应用的adhoc项目,使用了10台机器,存储了400亿的数据
  ==>每次扫描30亿的行数,响应时间在20秒~120秒左右(取决不同的查询条件与扫描的列数)。
  ==>对100亿数据进行count(*),耗时为2秒,单列sum耗时在25秒,按照日期分组求count和sum耗时47秒,按照用户id分组并且按照成交笔数排序去TopN 耗时 243秒。

发行日志

2013.7.24 version 0.18-beta 初始化版本
2013.8.07 version 0.18.1-beta bug fix see detail
2013.8.17 version 0.18.2-beta speed up see detail (推荐版本)

版本源码路径

https://github.com/alibaba/mdrill/tree/master/release

资源列表

  • mdrill介绍
  • 安装部署
  • sql使用手册
  • 版本开发计划
  • 文档逐步整理中,之前的海狗ppt请看这里
  • mdrill之前的旧文档以及开发日志入口
  • adhoc项目我们一年走过的路
  • LICENSE

mdrill Core contributors

  • 母延年(子落)、秦剑(含光)、郑博文(士远)、陈鹏(伯时)、木晗、逸客、张壮、凌凝

jstorm Core contributors

  • 封仲淹(纪君祥)、李鑫(丙吉)、母延年(子落)、周鑫(陈均)

其他

  • FAQ
  • mdrill技术交流群:171465049
  • 微博:http://weibo.com/mynyannian

About

阿里妈妈-adhoc-海量数据多维自助即席查询平台-mdrill

Resources

Readme
Apache-2.0 license
Activity

Stars

0 stars

Watchers

1 watching

Forks

0 forks
Report repository

Releases

Packages

Contributors

You are visitor 01402520 — GeezerVison does not store the pages you look up.
Best viewed with Netscape Navigator 4.7 or Internet Explorer 6 at 800×600. No cookies required.