-
案例:车联网大数据业务上云 - 数据治理中心 DataArts Studio
案例:车联网大数据业务上云 场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
-
物理模型设计 - 数据治理中心 DataArts Studio
External:数据存储位置为OBS的表。当“表类型”设置为External时,需设置“OBS路径””参数。OBS路径格式如:/bucket_name/filepath。 DWS模型的表支持以下表类型: DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。
-
数据治理各模块域之间的关系 - 数据治理中心 DataArts Studio
以上工作的有效开展,离不开组织管理、明确的责任人、考核体系、流程制度、数据治理政策和数据治理平台的支撑。
-
场景介绍 - 数据治理中心 DataArts Studio
迁移方案 图1 迁移方案 H公司的车联网大数据业务平台当前CDH(Cloudera Hadoop) HBase集群中共有854张表约400TB,备HBase集群中共有149张表,约10TB数据。最近一个月新增的数据量是60TB。
-
迁移准备 - 数据治理中心 DataArts Studio
- MRS Manager IP MRS Manager的IP地址。 192.168.3.11 父主题: 案例:车联网大数据业务上云
-
MRS中恢复HBase表 - 数据治理中心 DataArts Studio
父主题: 案例:车联网大数据业务上云
-
案例:搭建实时报警平台 - 数据治理中心 DataArts Studio
案例:搭建实时报警平台 在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用,需要建立统一的运维系统,实时接收应用的告警信息。
-
CDM迁移近一个月的数据 - 数据治理中心 DataArts Studio
父主题: 案例:车联网大数据业务上云
-
DES迁移一个月前的历史数据 - 数据治理中心 DataArts Studio
父主题: 案例:车联网大数据业务上云
-
数据库、数据仓库、数据湖与华为智能数据湖方案 - 数据治理中心 DataArts Studio
数据库、数据仓库、数据湖与华为智能数据湖方案 如今随着互联网以及物联网等技术的不断发展,越来越多的数据被生产出来,数据管理工具也得到了飞速的发展,大数据相关概念如雨后春笋一般应运而生,如从数据库、数据仓库、数据湖、湖仓一体等。
-
OBS Manager - 数据治理中心 DataArts Studio
OBS Manager 约束限制 该功能依赖于OBS服务。 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1,表2和表3配置OBS Manager节点的参数。
-
Http Trigger - 数据治理中心 DataArts Studio
Http Trigger 功能 Http Trigger是DataArts Studio的一个跨平台调度触发器节点。
-
配置PostgreSQL/SQLServer连接 - 数据治理中心 DataArts Studio
配置PostgreSQL/SQLServer连接 连接PostgreSQL/SQLServer时,相关参数如表1所示,金仓和GaussDB数据源可通过PostgreSQL连接器进行连接,支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。
-
配置PostgreSQL/SQL Server源端参数 - 数据治理中心 DataArts Studio
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时,源端作业参数如表1所示。
-
Ranger权限访问控制 - 数据治理中心 DataArts Studio
Ranger权限访问控制 配置资源权限 查看权限报告 父主题: 统一权限治理
-
配置MySQL/SQL Server/PostgreSQL目的端参数 - 数据治理中心 DataArts Studio
配置MySQL/SQL Server/PostgreSQL目的端参数 当作业将数据导入到MySQL/SQL Server/PostgreSQL时,目的端作业参数如表1所示。
-
ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs for further information”,如何处理? - 数据治理中心 DataArts Studio
执行SQL语句失败,系统提示“Failed to create ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs
-
配置MRS Ranger数据连接 - 数据治理中心 DataArts Studio
配置MRS Ranger数据连接 表1 MRS Ranger数据连接 参数 是否必选 说明 数据连接类型 是 MRS Ranger连接固定选择为MapReduce服务(MRS Ranger)。
-
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理? - 数据治理中心 DataArts Studio
原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方法 在SQL Server数据库中建表时,将数据库字段改大,长度不能小于源端OBS中的数据长度。 父主题: 数据集成
-
DataArts Studio和沃土是什么关系? - 数据治理中心 DataArts Studio
DataArts Studio作为沃土平台数据使能模块,帮助接入沃土数字平台的企业更好的管理使用数据。 父主题: 咨询与计费