- 学堂
- 博客
- 论坛
- 开发服务
- 开发工具
- 直播
- 视频
- 用户
- 一周
- 一个月
- 三个月
-
MES数据接收
MES数据接收 访问语帧平台 数字化精益平台是为本实验搭建的真实环境，作为对接IoT边缘平台的MES子系统，用户按照前面的操作后，IoT边缘将采集到的数据上报到数字化精益平台，您可在该平台查看数据同步结果并对数据进行后续管理。 使用浏览器，登录MES
-
大数据标准化体系建设规划
化贵州省大数据地方标准管理，培育发展大数据领域团体标准、企业标准，完善贵州省大数据标准体系，积极参与国际标准化活动，加强国家技术标准创新基地(贵州大数据)建设，突出政府指导作用，发挥市场主体作用，加强大数据标准化相关制度建设，完善大数据标准化公共服务体系，推动大数据标准化实施与监
-
大数据调度平台Airflow（一）：什么是Airflow
什么是Airflow Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项
-
大数据平台CDH搭建【绽放吧！数据库】
群集设置（选择安装的服务） 自定义角色分配，选择安装在那个节点上 数据库设置 需要提前创建数据库及授权其他节点可以正常连接 审核更改 集群安装 完成安装 后期可添加服务 【绽放吧！数据库】有奖征文火热进行中：https://bbs.huaweicloud.com/blogs/285617
-
数据中台建设（四）：企业构建数据中台评估
这个过程涉及汇聚各类企业数据资产、消除数据孤岛、将数据进行融合，构建统一的数据资产，在构建过程中并进行数据治理，使数据资产符合生产要求，通过数据服务化的能力（就是接口）快速服务于业务。同时，以上过程中针对数据资产的使用和内容进行运营优化，以使得企业数据越用越有价值，这就是数据中台的建设。 要
-
离线大数据迁移到MRS（三） 通过CDM迁移HDFS数据到华为云MRS服务
借助华为云云数据迁移服务CDM，可以完成线下IDC机房或者自建Hadoop集群上的HDFS数据迁移到华为云MRS服务。本文重点介绍如何通过使用CDM将HDFS数据搬迁到MRS。详情请点击博文链接：https://bbs.huaweicloud.com/blogs/161144
-
大数据平台架构技术选型与场景运用
数据源往往是在业务系统上，大多数做数据分析的时候，不会直接对业务的数据源进行处理，这时就需要数据采集。 采集到数据之后，基于数据源的特点把这些数据存储下来。 最后根据存储的位置做数据分析和处理。 整个大的生态圈的核心就是数据采集、数据存储和数据分析。 数据源的特点 数据源的特点决定
-
数据分析处理基本流程
数据分析处理基本流程 随着公司处理的数据量日渐增加，传统关系型数据库无法满足公司管理分析和业务决策对数据要求。大数据技术能够帮助公司处理海量数据，对企业中各类数据进行汇集、清洗、管理，帮助决策者必须从不同的商业角度观察数据，把运营数据转换成高价值的准确的战略决策信息，
-
《企业级大数据平台构建：架构与实现》—— 2.5.5 容错
5 容错传统分布式系统的容错方案有据复制和恢复日志两种方案。对于以数据为中心的系统而言，这两种方式都非常昂贵，因为它需要跨集群网络复制大量数据，而网络带宽的速度远远低于内存访问的速度。RDD天生是支持容错的。首先，它自身是一个不变的数据集，其次，Spark使用DAG作为其执行模型，所以它能够
-
元数据导出
Hive表数据存储在HDFS上，表数据及表数据的元数据由HDFS统一按数据目录进行迁移。而Hive表的元数据根据集群的不同配置，可以存储在不同类型的关系型数据库中（如MySQL，PostgreSQL，Oracle等）。本指导导出的Hive表元数据即存储在关系型数据库中的Hive表的描述信息。
-
大数据技术学习——MapReduce
p; 数据倾斜 数据倾斜主要发生在Reduce阶段，而很少发生在 Map阶段，其原因是Map端的数据倾斜一般是由于HDFS数据存储不均匀造成的（一般数据均匀分块存储，每个文件大小基本固定），而Reduce阶段的数据倾斜一般是因为分析师没有考虑到某种key值对应value数据量偏多的情况而导致的。
-
《企业级大数据平台构建：架构与实现》—— 2.5.4 依赖
2.5.4 依赖RDD作为数据结构，本质上是一个只读的分区记录集合。一个RDD可以包含多个分区，每个分区是一个数据片段。RDD可以相互依赖。如果父RDD的每个分区最多被一个子RDD的分区使用，则称之为窄依赖；若多个子RDD分区依赖一个父RDD的分区，则称之为宽依赖。不同的操作依据
-
《企业级大数据平台构建：架构与实现》——2.3 HBase
ion-Servers进程负责处理。底层数据存储和集群协同管理则交由HDFS和Zookeeper进行管理，如图2-6所示。图2-6 HBase逻辑架构图HBase的所有数据最终都以HDFS文件的形式进行存储，Region Server服务通常是伴随着HDFS的Datanode进行
-
分享大数据融合分析：GaussDB(DWS)轻松导入MRS-Hive数据源
大数据融合分析时代，GaussDB(DWS)如需访问MRS数据源，该如何实现？本期云小课带您开启MRS数据源之门，通过远程读取MRS集群Hive上的ORC数据表完成数据导入DWS。准备环境需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内，确保集群网络互通。基本流程1
-
大数据调度平台Airflow（六）：Airflow Operators及案例
fields terminated by '\t'; 向表 person_info加载如下数据： 1 zs 18 2 ls 19 3 ww 20 向表score_info加载如下数据： 1 zs 100 2 ls 200 3 ww 300 2、在node4节点配置Hive
-
什么是数据仓库服务
Database，即数据库，用于管理各类数据对象，各数据库间相互隔离。 Datafile Segment，即数据文件，通常每张表只对应一个数据文件。如果某张表的数据大于1GB，则会分为多个数据文件存储。 Table，即表，每张表只能属于一个数据库。 Block，即数据块，是数据库管理的基本单位，默认大小为8KB。
-
什么是数据仓库服务
Database，即数据库，用于管理各类数据对象，各数据库间相互隔离。 Datafile Segment，即数据文件，通常每张表只对应一个数据文件。如果某张表的数据大于1GB，则会分为多个数据文件存储。 Table，即表，每张表只能属于一个数据库。 Block，即数据块，是数据库管理的基本单位，默认大小为8KB。
-
《企业级大数据平台构建：架构与实现》——1.1.4 安全存疑
护的小集群通常都是只为支撑自身业务而实现的，不会同时面对多个用户。企业通过一些行政管理手段可以在一定程度上保障集群的安全。但是当团队人员扩充、集群规模扩大或是大数据集群的服务同时面向多个技术团队和业务部门的时候，很多问题就会显露出来。首当其冲的便是需要面对多用户的问题，集群不再只
-
《企业级大数据平台构建：架构与实现》—— 1.3.3 数据存储与查询
1.3.3 数据存储与查询在数据接入大数据平台之后，就需要考虑如何存储这些海量数据的问题了。根据业务场景和应用类型的不同我们会有不同的存储需求。1.?关系型数据模型试想一下数据仓库的场景。数据仓库的定位主要是应用于联机分析处理（OLAP），它不需要支持事务性的操作，只用专注于分析
-
基于“OBS+CCE”大数据组件对接
HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，为大数据计算提供“数据湖”存储。 hive对接OBSHive可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。
