博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
开源大数据周刊-第20期
阅读量:6338 次
发布时间:2019-06-22

本文共 891 字,大约阅读时间需要 2 分钟。

摘要:
关注:对话Hadoop之父、E-MapReduce助力数据仓库建设、携程基于Hadoop大数据实践、一号店基于Hadoop的推荐系统、Hive性能优化

阿里云E-Mapreduce动态

1.5.0版本(正在研发)

  • 增加集群整体运行情况的仪表盘
  • 访问OSS不需要写id、key,增强安全性
  • 集群其中后,可以重启、修改配置及安装软件

1.6.0版本

  • 交互式查询(支持hive、spark)

资讯

主要点有:新硬件、Spark、Hadoop上云、中国大数据技术的发展、开源

当业务系统在阿里云上,使用E-MapReduce建立数据仓库也是数天的事情

大数据与传统BI是社会发展到不同阶段的产物,大数据对于传统BI,既有继承,也有发展,从”道”的角度讲,BI与大数据区别在于前者更倾向于决策,对事实描述更多是基于群体共性,帮助决策者掌握宏观统计趋势,适合经营运营指标支撑类问题,大数据则内涵更广,倾向于刻画个体,更多的在于个.

通过各类大数据对用户进行研究,以数据驱动产品是解决这个课题的主要手段,携程的大数据团队也由此应运而生;经过几年的努力,大数据的相关技术为业务带来了惊人的提升与帮助。以基础大数据的用户意图服务为例,通过将广告和栏位的“千人一面”变为“千人千面”,在提升用户便捷性,可用性,降低费力度的同时,其转化率也得到了数倍的提升,体现了大数据服务的真正价值。

一号店精准化推荐部门通过不断探索,逐渐搭建了实时的、高可用的、推荐过程可追溯的通用推荐平台,目前该平台正在公司范围内被越来越多的人使用。本文从一号店通用推荐平台产生的背景谈起,详解该平台的整体架构设计、推荐流程可视化系统设计、推荐结果可视化系统设计等,并在最后进行了总结。这套系统也可以快速在阿里云的E-MapReduce平台构建。

谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。

本篇博客讲述了作者在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题

转载地址:http://ylooa.baihongyu.com/

你可能感兴趣的文章
ThinkPHP 3.2.x 集成极光推送指北
查看>>
js作用域链
查看>>
java中如何选择Collection Class--java线程(第3版)
查看>>
为运维人员插上腾飞更远的翅膀!
查看>>
Word 2003中编辑标记与格式标记大讨论
查看>>
从国内向海外转移域名经验谈
查看>>
浅谈apache与tomact的整合
查看>>
SQL Server vNext CTP1 on Linux
查看>>
1-为 Lync Server 2010 准备 Active Directory 域服务
查看>>
NetBackup下ORACLE恢复测试方案实例解析
查看>>
【有奖征文】“失业”程序员的苦辣酸甜
查看>>
IE9是如何被FireFox4超越全球市场份额的?
查看>>
linux bunzip2命令
查看>>
敏捷个人:通过实践TOGAF来思考如何学习并应用新的方法?
查看>>
Android系统的开机画面显示过程分析(6)
查看>>
vivo Hi-Fi+QQ音乐 数字音乐市场的一剂良方
查看>>
Cocos2d-x 3.2 异步动态加载 -- 保卫萝卜开发总结
查看>>
聚焦触宝反侵权事件:中国创业者用什么护航海外市场大门
查看>>
AOP技术基础
查看>>
Android系统进程间通信(IPC)机制Binder中的Server启动过程源代码分析(2)
查看>>