- 学堂
- 博客
- 论坛
- 开发服务
- 开发工具
- 直播
- 视频
- 用户
- 一周
- 一个月
- 三个月
-
【9月29日 14:30】特邀MRS架构师亮哥，谈谈云上大数据平台MRS，人人争当MRS体验师
你了解MapReduce吗？本期体验师活动联合华为云大数据计算明星产品——MapReduce服务（MapReduce Service）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，带你快速玩转大数据！参
-
大数据学习的第一课-大数据概论和技术原理
7、Sqoop (数据同步工具) 8、Hive/lmpala(基于Hadoop的数据仓库） 9、HBase (分布式列存储数据库)10、Flume (日志收集工具) 11、Kafka(分布式消息队列) 12、Oozie (工作流调度器) 采用分步式的方式存储数据时，要考虑数据复制时一致
-
《企业级大数据平台构建：架构与实现》
41.3 企业级大数据平台需要具备的基本能力 61.3.1 集群管理与监控 71.3.2 数据接入 71.3.3 数据存储与查询 71.3.4 数据计算 81.3.5 平台安全与管理 101.4 平台辅助工具 121.5 本章小结 13第2章 企业级大数据平台技术栈介绍
-
《企业级大数据平台构建：架构与实现》——1.3 企业级大数据平台需要具备的基本能力
于生产系统产出的数据，也可能是终端设备的用户数据或是来自于机器产生的日志数据。面对海量的数据，我们会遇到一个又一个接踵而至的问题。为了支撑一个与数据量“体积相当”的存储和计算平台，其集群规模必定不会小。所以我们首先会面临如何管理一个单体大集群的问题。其次，当数据接入之后，我们又会
-
数据拷贝
行Distcp进行拷贝。 数据快递服务（DES）对于TB或PB级数据上云的场景，华为云提供数据快递服务 DES。将线下集群数据及已导出的元数据拷贝到DES盒子，快递服务将数据递送到华为云机房，然后通过云数据迁移 CDM将DES盒子数据拷贝到HDFS。
-
浅谈大数据平台架构设计
提供多种平台以及工具来助力数据平台：多种数据源的数据采集平台、一键数据同步平台、数据质量和建模平台、元数据体系、数据统一访问平台、实时和离线计算平台、资源调度平台、一站式开发IDE。 六、元数据-大数据体系基石 元数据是打通数据源、数据仓库、数据应用，记录了数据从产生到消
-
MRS集群间数据迁移手册
ft><align=left>本文指导用户在集群之间进行数据迁移，假设是要将旧集群中的数据迁移到新安装的新集群中。</align><align=left>支持迁移的数据有hdfs、hbase、hive数据，hive的元数据等，其他数据的迁移不在本指导范围内。</align><b>1
-
大数据入门学习指南
8、Hive自定义函数 9、Hive的数据压缩 10、Hive的数据存储格式 11、Hive调优 12、Hive综合案例 13、手撕这十道HiveSQL题吊打面试官 七、HBase 1、HBase基本简介 2、HBase集群安装操作 3、HBase数据模型 4、HBase的相关操作-客户端命令式
-
宜人贷PaaS数据服务平台Genie：技术架构及功能
好的说明了数据平台Genie的组成以及数据使用流程。先说数据使用流程，首先所有数据（包括结构化数据和非结构化数据）都会在数据仓库中进行标准化，如：单位统一，字典统一，数据格式统一，数据命名统一等等。统一规范的数据会直接或者间接的被数据集市使用，作为数据集市的入口。数据集市之间业务
-
离线大数据迁移到MRS（二） 数据迁移到MRS集群网络连通说明
离线大数据迁移到MRS(二)数据迁移到MRS集群网络连通说明 进行大数据迁移时，需要保证老集群和新集群之间的网络互通，例如用Hadoop distcp命令跨集群拷贝数据时候需要所有DataNode是网络互通的。本文主要介绍根据不同的迁移场景打通两套集群之间的网络连接的方式。场景
-
华为大数据解决方案功能组件介绍
度管理。而数据的可视化主要是指将分析出来的数据做出清晰、完美的呈现，这个就是Fusionlnsight Miner组件。 那么具体如何进行数据洞察呢？首先可以通过外部数据源来收集数据，比如企业数据、企业数据和互联网数据逻辑相关的数据。企业数据与第三方数据源、市场连接
-
大数据迁移这些小事，如何做到迁移大数据到MRS
看了这个，也能自己动手做大数据集群的数据迁移了，so easy~参考博文：离线大数据迁移到MRS（一）迁移到MRS前准备 https://bbs.huaweicloud.com/blogs/160949离线大数据迁移到MRS（二）数据迁移到MRS集群网络连通说明 https://bbs
-
通过Flink作业处理OBS数据
通过Flink作业处理OBS数据 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。
-
对接大数据组件
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS
-
大数据反欺诈技术架构
图。其实大数据不外乎这么几个步骤。数据源开拓、数据抽取、数据存储、数据清洗和处理、数据应用，且听我一个一个说。数据源数据源是一个比较重要的点，毕竟如果连数据源都是垃圾，那么毫无疑问可以预见，最终产出的一定是垃圾，所以挑选数据源和对接数据源的时候都要关注，该机构产出的数据是不是都是
-
《企业级大数据平台构建：架构与实现》——1.3.4 数据计算
1.3.4 数据计算在数据接入并存储下来之后，就需要考虑如何使用这些数据了。比如对数据进行加工、转换、映射、查询，进行业务处理或者进行数据挖掘，等等。根据业务场景的不同会有不同的计算需求。1.?离线批处理大数据具有体量大和价值密度低的特性，这意味着这些数据通常并不能直接拿来使用，
-
大数据是什么?【我们都是华为云专家】
都已经将数据开放作为国家战略，促进未来的经济发展。中国在顶层设计上已经开始布局大数据产业。 那么在华为的认知中，什么是大数据呢？ 华为眼中的大数据是数据，包括了内部数据、外部数据、多样化数据、海量数据。技术，包括了分布式技术、存储技术、分析技术、挖掘技术和实时技术，更是一种思
-
配置Hive数据连接
配置Hive数据连接 本章节指导用户在购买后，将现有集群的Hive元数据切换为本地数据库或者RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除。也能够避免集群迁移时Hive元数据的迁移。
-
导出数据
导出数据 功能介绍 导出数据表中的具体数据。平台中创建的对象中，其内部的数据是支持导出的，该接口支持将对象中的数据按照设定的周期频率、筛选条件进行导出。根据设定的执行时间，会自动生成定时任务，定期或单次执行导出任务，数据导出完成后可调用文件下载接口下
-
数据流向
数据流向 DIS实时从多种数据源采集数据。 DIS连续传输数据，自动将数据传输至MRS，DLI，DWS和OBS等服务做计算，分析和存储。 父主题： 什么是数据接入服务
