检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MD5校验文件一致性 CDM数据迁移以抽取-写入模式进行,CDM首先从源端抽取数据,然后将数据写入到目的端。在迁移文件到OBS时,迁移模式如图1所示。 图1 迁移文件到OBS 在这个过程中,CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、S
配置Oracle目的端参数 表1 Oracle作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
配置Doris目的端参数 表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
配置GBase目的端参数 表1 GBase作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 SCHEMA_EXAMPLE 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
通过数据目录查看数据血缘关系 数据血缘方案简介 配置数据血缘 查看数据血缘 父主题: 数据目录典型场景教程
企业模式角色操作 企业模式业务流程 管理员操作 开发者操作 部署者操作 运维者操作 父主题: (可选)升级企业模式工作空间
获取质量作业列表V1 功能介绍 批量查询数据质量作业,返回质量作业列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/quality/rules 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
数据分类分级相关工具平台主要实现数据资产扫描梳理、数据分类分级打标和数据分类分级管理等功能。 身份认证及访问控制相关工具平台,主要实现在数据全生命周期各环节中涉及的所有业务系统和管理平台的身份认证和权限管理。 监控审计相关工具平台接入业务系统和管理平台,实现对数据安全风险的实时监控,并能进行统一审计。 日志管
配置MySQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
配置SAP HANA目的端参数 表1 SAP HANA作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
模式或表空间 表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,分库连接时此处默认展示对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则
配置ClickHouse目的端参数 表1 ClickHouse作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
user; 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明: 该参数支持
间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入模式 导入数据到DWS时,用户可以指定导入模式。 COPY模式,源数据经过管理节点后,复制到DWS的DataNode节点。 UPSERT模式,数据发生主键或唯一约束冲突
配置HBase 目的端参数 表1 Hbase作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实
配置并行处理算子 并行处理算子可以同时执行多个分支逻辑,分支间互不影响。 表1 并行处理算子 参数 说明 失败策略 当并行分支中存在失败情况时,配置API工作流的失败策略。 任一分支失败则终止:表示当并行分支中存在失败情况时,则此API工作流置为失败状态,不再继续执行。 分支失败
此处只是列举一些算子,以实际为准。 该接口只统计运行成功的实例,每小时统计一次,任务表示作业中的算子。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。
DWS数据连接开启SSL时测试连接失败怎么办? 可能原因 可能是由于DWS集群的三权分立功能导致的。 解决方案 请在DWS控制台,单击进入对应的DWS集群后,选择“安全设置”,然后关闭三权分立功能。 图1 关闭DWS集群三权分立功能 父主题: 管理中心
Hive连接时,提示无法下载配置文件,实际是用户权限不足。建议您新建一个业务用户,给对应的权限后重试即可。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连
配置PostgreSQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。