网站首页
网站导航
Ctrl+D收藏
搜索
|
会员
首页
云计算
大数据
编程语言
前端开发
数据库
交互设计
软件项目
网站开发
移动开发
架构设计
你所在的位置:
编程开发
/
大数据
/
Hadoop
知乎的数据同步建设、工具选型及平台化实践
从数仓建设的角度思考,数据仓库需要依赖于稳定和规范的数据源,数据需要经过采集加工后才能真正被数仓所使用。推动数据同步服务的平台化,才有可能从源头规范数据的产出。数据同步服务不像数据
应对Hadoop集群数据疯长,这里祭出了4个治理对策!
在目前规模比较大的互联网公司中,总数据量能达到10PB甚至几十PB数据量的公司,我认为中国已经有超过了20家了。而在这些公司中,也有很多家公司的日数据增长达到100TB+了。所以我们每天都要观察
基于Hadoop的大数据平台实施
大数据平台架构设计沿袭了分层设计的思想,将平台所需提供的服务按照功能划分成不同的模块层次,每一模块层次只与上层或下层的模块层次进行交互(通过层次边界的接口),避免跨层的交互,这种设计
Hive窗口函数之累积值、平均值、首尾值的计算学习
Hive窗口函数可以计算一定范围内、一定值域内、或者一段时间内的累积和以及移动平均值等;可以结合聚集函数SUM()、AVG()等使用;可以结合FIRST_VALUE()和LAST_VALUE(),返回窗口的第一个和最后
微博广告推荐中有关Hadoop的那些事
微博,一个DAU上亿、每日发博量几千万的社交性产品,拥有庞大的数据集。如何高效得从如此规模的数据集中挖掘出有价值的信息,以增强用户粘性,提高信息传播速度,就成了重中之重。因此,我们引
深入了解HBase架构
从物理结构上讲,HBase由三种类型的服务器构成主从式架构。RegionServers为数据的读取和写入提供服务。当访问数据时,客户端直接和RegionServers通信。Region的分配,DDL(create,deleteta
Hive 元数据表结构详解
本文介绍Hive元数据库中一些重要的表结构及用途,方便Impala、SparkSQL、Hive等组件访问元数据库的理解。
Hive、HBase、Impala的简单对比
一句话描述Hive:hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。Hive支持HSQL,是一种
YARN资源管理的最佳实践
ResourceManager(RM)和每个从属节点(NM)构成数据计算框架。ResourceManager拥有在系统中的所有应用程序之间仲裁资源的最终权力。NodeManager是每个机器的架构代理,负责监视容器的资源使用
大数据面试题
在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序,这也是最少使用的一个模式。3
海量小文件的开源存储方案选型建议
HDFS缺乏多租户、纠删码(据称2017年底特性提供,但稳定性待验证)、配额管理、数据快照、跨数据中心容灾等重要的存储特性,无法作为一个普适性的企业存储使用,仅适合专用于大数据分析存储。
Hadoop生态系统的详细介绍
Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YARN。
机器学习到底是什么
机器学习是现代人工智能的基石,它颠覆了传统编程模式。机器学习有助于创建修正和改善其性能的软件,而无需人类向其解释如何完成任务。
常见的七种Hadoop和Spark项目案例
如果您的Hadoop项目将有新的突破,那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的,如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情,他们最终却会
yarn的调度策略
无论先进先出调度器,容量调度器,还是公平调度器,他们的核心:资源分配模型是一样的。
相关主题
可视化
机器学习
Hadoop
消息队列
Spark
综合
大家在关注
知乎的数据同步建设、工具选型及平台化实践
应对Hadoop集群数据疯长,这里祭出了4个治理对策!
基于Hadoop的大数据平台实施
Hive窗口函数之累积值、平均值、首尾值的计算学习
微博广告推荐中有关Hadoop的那些事
深入了解HBase架构
Hive 元数据表结构详解
Hive、HBase、Impala的简单对比
YARN资源管理的最佳实践
大数据面试题
我们的推荐
应对Hadoop集群数据疯长,这里祭出了4个治理对策!
Hive聚合函数及采样函数详解
java 调用hbase api创建hbase分区表
助力大数据的复杂统计分析-Hive窗口函数
使用 Hive 构建数据仓库
TDW开发之HIVE篇
如何将MapReduce转化为Spark
非关系性分布式数据库:HBase
hbase基本介绍
最新的干货
地图
本站
我们
服务
版权
联系
回馈
博客