检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
性能调优 概述 根据数据迁移模型分析,除了源端读取速度、目的端写入性能、带宽优化外,您也可以通过如下方式优化作业迁移速度: 使用大规格CDM集群 不同规格的CDM集群网卡带宽、集群最大抽取并发数等有所差异。如果您有较高的迁移速度需求,或当前CDM集群的CPU使用率、磁盘使用率、内
resource_id String 资源导出导入任务ID。 resource_type String 资源类型。 action String 操作类型:EXPORT表示导出,REPORT表示导入。 file_name String 资源文件名。 start_time String 开始时间。
"Total Rows" : "4", "Status" : "false", "Name" : "1_database.dqc_test2" } ] }, { "sub_rule_id" : "1012386182631510017"
常用EL表达式样例合集 本章节介绍常用的EL表达式及示例。 表1 常用的EL表达式 方法 描述 示例 String getNodeStatus(String nodeName) 获取指定节点运行状态,成功状态返回success,失败状态返回fail。 例如,判断节点是否运行成功,
"task" : { "id" : "2c9080047f1b1185017f1ef6ad0500ac", "name" : "rdsCreateBackupJob" }, "datastore" : { "type" : "cdm", "version"
Shell/Python节点执行失败,后台报错session is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了,实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800]
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 start 是 Object 集群启动操作,定义集群启动标识,为空对象。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 jobId Array of strings
如何选择增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求,则您需要额外购买增量包。 DataArts Studio增量包 当前DataArts Studio支持的增量包如表1所示。 表1 增量包介绍 增量包类型 增量包说明 购买场景说明
proposers objects 申请人详情列表 表7 permissions 参数 参数类型 描述 column_name String 列名称 database_name String 库名称 permission_action Array of strings 权限 permission_set_id
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 符合条件的申请总数。 records Array of RecordForApplyDetail objects 本次返回的申请列表。 表5 RecordForApplyDetail
开发实时处理单任务DLI Spark作业 前提条件 参见新建作业创建一个实时处理的单任务DLI Spark作业。 配置DLI Spark作业 表1 配置属性参数 参数 是否必选 说明 作业名称 是 输入DLI Spark作业名称。 作业名称只能包含英文字母、数字、下划线和中划线,且长度为1~64个字符。
CDM目前只支持导入文件到OBS时,目的端使用KMS加密,表/文件迁移和整库迁移都支持。在“目的端作业配置”的“高级属性”中配置。 KMS密钥需要先在数据加密服务创建,具体操作请参见《数据加密服务 用户指南》。 当启用KMS加密功能后,用户上传对象时,数据会加密成密文存储在OBS。用户从OBS下载加密对象时,存储
购买数据集成资源组增量包 数据集成资源组增量包对应数据集成实时作业所需的资源组。数据集成资源组提供数据上云和数据入湖出湖的集成能力,全向导式配置和管理,支持单表、整库、分库分表、全量+增量及增量同步等不同场景的数据迁移。 通过购买一个按需计费方式的数据集成资源组增量包,系统会按照
如果选择写入到OBS,此参数表示相应的OBS桶下的目录,例如:“/data/dirtydata/”。 throttlingConfig.maxErrorRecords 否 String 单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时,任务自动结束,已经导入的数据不回退。 schedulerConfig
地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。不过,在基础设施、BGP网络品质、资源的操作与配置等方面,中国大陆各个区域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。 曼谷等其他地区和国家
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
object value,统一的返回结果的外层数据结构。 表6 value 参数 参数类型 描述 total Integer 总量。 records Array of ApproverVO objects 查询到的审批人对象(ApproverVO)数组。 表7 ApproverVO 参数
错误码。 error_msg String 错误描述。 请求示例 { "attributes" : { "database" : [ "database" ], "classifications" : [ ], "connection_names" : [