检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0/19)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 各数据源所用端口不尽相同,可参考数据源安全组应放通哪些端口可满足Migration访问?进行安全组规则端口配置。 (可选)本地IDC添加路由。 本地IDC需要添加路由,目的地址指向Migration资源组VPC网段(例如172
0/19)访问数据库的权限。各类型数据库添加白名单的方法不同,具体方法请参考各数据库官方文档进行操作。 各数据源所用端口不尽相同,可参考数据源安全组应放通哪些端口可满足Migration访问?进行安全组规则端口配置。 (可选)本地IDC配置VPN对端网关设备。 本地IDC网络采用不同类型的防火墙或主机,
需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式或者配置不同的Agent。 说明: STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连
撤销任务包 功能介绍 目前支持发布包管理中相关包的撤销,支持撤销多个任务包。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/release-packages/unpack 参数说明
数据仓库相比数据库,主要有以下两个特点: 数据仓库是面向主题集成的。数据仓库是为了支撑各种业务而建立的,数据来自于分散的操作型数据。因此需要将所需数据从多个异构的数据源中抽取出来,进行加工与集成,按照主题进行重组,最终进入数据仓库。 数据仓库主要用于支撑企业决策分析,所涉及的数据操作主要是数据
果集进行条件判断,根据定义的表达式来确定下一步执行的分支。注意,多个分支满足条件时仅执行第一个满足条件的分支。 条件分支算子和表达式的配置方法,详见配置条件分支算子。 并行处理 非必选 并行处理算子可以同时执行多个分支逻辑,分支间互不影响。 并行处理算子的配置方法,详见配置并行处理算子。
bucketName 是 String 对象存储的桶名。 fromJobConfig.inputDirectory 是 String 抽取文件的路径。支持输入多个文件路径(最多50个),默认以“|”分隔,也可以自定义文件分隔符,例如:“FROM/example.csv|FROM/b.txt”。 fromJobConfig
MySQL数据库 IP地址 本地的MySQL数据库的IP地址,且该地址允许CDM通过公网IP访问。 1xx.120.85.24 端口 MySQL数据库的端口。 3306 数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户,该用户拥有MySQL数据库的读、写和删除权限。
请修改正确的格式后再重试。 Cdm.0962 必须指定主机IP。 未指定主机IP,请指定主机IP后,再重试。 Cdm.0963 必须指定主机端口。 未指定主机端口,请指定主机端口后,再重试。 Cdm.0964 必须指定数据库。 未指定数据库,请指定数据库后,再重试。 Cdm.1000 Hive表[%s]不存在。
CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将
审批单处理 功能介绍 审批驳回/通过,单个或多个action-id=reject/resolve。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/approvals/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id
批量资产关联密级 功能介绍 批量资产关联密级:单个密级关联到多个资产上。 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/asset/entities/security-level 表1 路径参数 参数 是否必选 参数类型 描述 project_id
待迁移数据的目录或单个文件路径。文件路径支持输入多个文件(最多50个),默认以“|”分隔,也可以自定义文件分隔符,具体请参见文件列表迁移。 待迁移数据的目录,将迁移目录下的所有文件(包括所有嵌套子目录及其子文件)。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定
在数据源侧直接查看表行数。 本例以通过DataArts Studio数据质量作业获取表行数的操作为例进行说明,这种方式可以同时统计同一数据库下多个表的行数。 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 单击“质量作业”,进入质量作业列表。
流量控制。流控策略和API本身是相互独立的,只有将流控策略绑定API后,流控策略才对绑定的API生效。 同一个环境中一个API只能被一个流控策略绑定,一个流控策略可以绑定多个API。 前提条件 需要绑定的API已发布。 创建流控策略 在DataArts Studio控制台首页,选
待迁移数据的目录或单个文件路径。文件路径支持输入多个文件(最多50个),默认以“|”分隔,也可以自定义文件分隔符,具体请参见文件列表迁移。 待迁移数据的目录,将迁移目录下的所有文件(包括所有嵌套子目录及其子文件)。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定
存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”。 原因分析 当同时存在多个不同版本的集群,先在低版本CDM集群创建数据连接或保存作业时后,再进入高版本CDM集群时,会偶现此类故障。 解决方案 需手动清理浏览器缓存,即可避免此类问题。
配置任务参数 参数名 参数说明 连接配置 *选择集群 选择需要同步第三方平台动态脱敏策略的集群。 当前暂不支持同步策略到多个集群。如果希望通过多个订阅任务分别同步到多个集群,则会由于生成的策略名重复导致Kafka消息消费失败。 集群类型 无需选择,自动根据选择的集群匹配集群类型。当前仅支持同步策略到MRS集群。
达式,该表达式将用于匹配对象的识别。 操作:可删除此条子规则内容,或再新建一条子规则 *条件表达式 多个子规则间可进行与或非的逻辑判断。 自定义:输入自定义正则表达式,用于对多个子规则进行与或非的逻辑判断。子规则用规则序号A-Z之间表示,逻辑运算符支持&&,||,!,(,)。 表达式举例:“A&&B”。
CSV格式 源目录或文件 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件(最多50个),默认以“|”分隔,也可以自定义文件分隔符,具体请参见文件列表迁移。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,