检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理单个CDM作业 已存在的CDM作业支持查看、修改、删除、启动、停止等操作,这里主要介绍作业的查看和修改。 查看 查看作业状态 作业状态有New,Pending,Booting,Running,Failed,Succeeded,stopped。 其中“Pending”表示正在等
过慢(查看作业监控指标速率不符合实时集成作业提供的性能规格)等情况,需要考虑以下几点: 目的端写入过慢。 源端抽取过慢。 其他问题(请联系技术支持人员协助解决)。 因为目的端写入过慢会影响至源端,导致源端抽取速度下降,因此链路速度过慢请优先排查目的端写入速度,在排除目的端因素后再排查上游。
关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。
data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String 数据表名称(技术报告有效)。 start_timestamp 否 Long 开始时间戳。
该场景下,如果CDM集群只是用于迁移OBS数据到DLI,不需要迁移其他数据源,则CDM集群所在的VPC、子网、安全组选择任一个即可,没有要求,CDM通过内网访问DLI和OBS。主要是选择CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。
关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。
企业模式业务流程 当前DataArts Studio企业模式,主要涉及管理中心和数据开发组件,业务流程由管理员、开发者、部署者、运维者等角色共同完成。 图1 企业模式架构 管理员:管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。 开发者:
在质量作业表中,单击操作列的“运行”,跳转到运维管理模块。 待质量作业运行成功后,单击左侧导航菜单的“质量报告” 默认展示技术报告,如下图所示。 图1 技术报告 单击“业务报告”页签,查看业务报告,如下图所示。 图2 业务报告 父主题: 使用教程
Import GES 功能 通过Import GES节点可以将OBS桶中的文件导入到GES的图中。 Import GES算子的具体使用教程,请参见基于MRS Hive表构建图数据并自动导入GES。 参数 用户可参考表1和表2配置Import GES节点的参数。 表1 属性参数 参数 是否必选
的统计数值;数据质量中指标侧重监控维度,用来管理所有业务指标,包括指标的来源、定义等。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。同时,数据质量模块的业务指标监控即将下线,推荐使用数据架构的业务指标功能。 父主题: 数据架构
否 String 数据连接id,如果是获取技术报告规则评分,请务必填写data_connection_id,database_name,table_name参数值。 database_name 否 String 数据库名称,如果是获取技术报告规则评分,请务必填写data_conn
复制作业 本章节主要介绍如何复制一份作业。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工
批量修改主题/目录/流程 批量修改主题 当前仅支持信息架构、关系建模、逻辑模型、维度、事实表、汇总表、技术指标模块进行批量修改主题操作,操作流程相同。 此处以批量修改信息架构为例,展示如下: 在DataArts Studio数据架构控制台,单击左侧导航栏中的“信息架构”。 进入后
关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC,选择和RDS的MySQL数据库实例所在的VPC一致,且推荐子网、安全组也与RDS上的MySQL一致。 如果安全控制原因不能使用相同子网和安全组,则可以修改安全组规则,允许CDM访问RDS。
否 String 数据连接id,如果是获取技术报告规则评分,请务必填写data_connection_id,database_name,table_name参数值。 database_name 否 String 数据库名称,如果是获取技术报告规则评分,请务必填写data_conn
已开通DWS服务,并创建DWS集群,为DWS SQL提供运行环境。 已开通CDM增量包,并创建CDM集群。 CDM集群创建时,需要注意:虚拟私有云、子网、安全组与DWS集群保持一致,确保网络互通。 创建DWS的数据连接 开发DWS SQL前,我们需要在“管理中心 > 数据连接”模块中建立一个到DWS的连
Studio是具备数据全生命周期管理和智能数据管理能力的一站式数据治理平台,基于数据湖底座,提供数据集成、开发、治理等能力。针对不同的使用场景,我们提供了不同的使用方案示例: 表1 快速入门案例定位 使用案例示例 所选数据湖底座 所需最低版本 业务能力 适用场景 免费版:基于DLI的电商BI报表数据开发流程 DLI
ation DLI引擎的静态脱敏任务,当源端或目的端为DWS时,请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接,否则会导致静态脱敏任务失败。 源端或目的端为DLI的静态脱敏任务,不支持对DLI中default数据库的数据表进行脱敏。
UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具的补充,Impala不会替代基于MapReduce构建的批处理框架,例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 MapReduce服务(MRS Ranger)
Studio和ROMA有什么差异? 从数据运营方案(数据中台)的数据集成、数据治理以及数据开放三层结构来看,DataArts Studio和ROMA主要差别在于数据治理方面: ROMA作为连接各个系统的管道,对接入数据没有治理和规划的功能。 DataArts Studio支持对接入数据进行