检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
约束与限制 当前仅支持MRS数据源的安全诊断能力。 安全诊断的扫描任务超时时间为1小时。 数据权限控制诊断项,空间管理员与安全管理员仅统计用户,不统计用户组成员。 诊断数据安全风险 数据安全诊断当前支持敏感数据保护、数据权限控制和数据源保护三大诊断项,诊断详情如图1所示。 图1 数据安全诊断详情
数据目录”模块,进入数据目录页面。 在左侧导航栏单击“数据目录”,选择“业务资产”页签,然后在筛选条件中选择业务对象,将显示符合条件的业务资产。 选择“技术资产”页签,然后在筛选条件中“数据连接”选择所需查看的连接,“类型”选择“Table”,右侧页面将显示符合条件的所有的元数据。
ORACLE数据连接参数说明 DIS数据连接参数说明 主机连接参数说明 OBS数据连接参数说明 Apache HDFS数据连接参数说明 MRS Hudi数据连接参数说明 Elasticsearch数据连接参数说明 Rest Client数据连接参数说明 DMS Kafka数据连接参数说明
终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以
待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。
问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办?
到MRS集群。 数据连接 无需选择,自动根据选择的集群匹配数据连接。 *kafka数据连接 选择在前提条件中已创建的MRS Kafka类型数据连接。注意,Kafka应为第三方平台发布消息所在的Kafka,Kafka数据连接中的账户要具备kafkaadmin用户组的权限。 *topic主题
创建一个到DLI的连接,数据连接类型选择“数据湖探索(DLI)”,数据连接名称设置为“dli”。 完成设置后,单击“测试”,测试成功后单击“确定”,完成DLI数据连接的创建。 图2 创建数据连接 DLI连接创建完成后,跳转到数据开发页面。 图3 跳转到数据开发页面 参见图4,在DLI连接上右键
connection. 每个用户只能创建一个DLI连接。 请检查DLI连接。 400 DLF.6309 The connection name has been used by another connection. 连接名称已经在其他连接占用。 请检查连接名称是否被其他连接占用。 400 DLF
Jar包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 用户可以在SQL中调用插入Jar包中的自定义函数。 DLI队列 是 默认选择“共享队列”,用户也可以选择自定义的独享队列。 说明: 当子用户在创建作业时,子用户只能选择已经被分配的队列。 当前由于DL
其它参数可以自定义,或者保持默认。 创建CDH HDFS连接: 单击CDM集群操作列的“作业管理”,进入作业管理界面。 选择“连接管理 > 新建连接”,进入连接器类型的选择界面,选择“Apache HDFS”。 图1 选择连接器类型 单击“下一步”,配置连接参数,依次填写相关信息。URI格式为“hdfs://NameNode
购买DataArts Studio实例 购买DataArts Studio基础包 (可选)购买DataArts Studio功能增量包 (可选)购买规格增量包
您已购买DataArts Studio实例。 增量包大体可分为功能增量包与规格增量包,功能增量包用于拓展DataArts Studio实例的功能,规格增量包用于增加DataArts Studio实例的配额。当DataArts Studio实例使用配额接近或达到规格的情况下,您可以购买如下规格增量包:
String 连接器名称,对应的连接参数如下:generic-jdbc-connector:关系数据库连接。obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-co
任务实例接口 批量停止实例 父主题: 数据质量API
实例规格变更 规格变更接口 父主题: 管理中心API
和工作计划,负责领域数据资产的看护,维护更新相应数据标准和及相关元数据,设计本领域数据度量和规则,监控收集数据质量问题并持续改进提升,主动升级数据相关问题。最终完成领域内数据资产的看护,并支撑数据治理目标的达成。 领域数据治理工作组由数据Owner、数据代表、数据管家、数据专员和数据架构师组成。其中:
个工作空间分配。 总使用配额:表示当前实例下已使用的总配额,由系统自动统计。 总分配配额:表示当前实例下分配给所有工作空间可使用的总配额,由系统自动统计。 总配额:表示当前实例所拥有的最大总配额,固定值不可修改。 前提条件 修改工作空间的用户账号,需要满足如下任一条件: DAYU
单击“运行结果”,查看具体的指标监控情况。 图8 运行结果 业务场景的运行结果说明如下: 正常:表示实例正常结束,且执行结果符合预期。 告警:表示实例正常结束,但执行结果不符合预期。 异常:表示实例未正常结束。 --:表示实例正在运行中,无执行结果。 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
配置DWS目的端参数 作业中目的连接为DWS连接时,目的端作业参数如表1所示。 表1 目的端为DWS时的作业参数 参数名 说明 取值样例 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 自动创表 只有当源端为