检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建补数据实例 功能介绍 创建一个补数据实例。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/supplement-data 参数说明 参数名 是否必选 参数类型 说明 project_id
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
是：重新执行节点，请配置以下参数。 最大重试次数 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明： 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试，避免自动重试重复写入数据导致数据不一致。 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
proposers objects 申请人详情列表 表7 permissions 参数 参数类型 描述 column_name String 列名称 database_name String 库名称 permission_action Array of strings 权限 permission_set_id
csv 否 目录层次 自定义目录层次选择是时显示该参数。 指定文件的目录层次，支持时间宏（时间格式为yyyy/MM/dd）。源端为关系型数据库数据源时，目录层次为源端表名+自定义目录，其他场景下为自定义目录。 ${dateformat(yyyy/MM/dd, -1, DAY)} 文件名前缀
名称为必填项，只能包含英文字母、数字、下划线和中划线，且长度为1~50个字符，且输入不能为空。 描述 对策略的描述信息，长度限制在256个字符以内。 数据库 必填项，此项表示需要进行权限控制的数据库，支持模糊搜索。 数据表 必填项，此项表示需要进行权限控制的数据表，支持模糊搜索。 列 必填项，此项表示需要进行权限控制的列，支持模糊搜索。
com”。 端口：OBS服务器的端口，例如“443”。 OBS桶类型：根据实际情况下拉选择即可。 访问标识（AK）、密钥（SK）：访问OBS数据库的AK、SK。可在管理控制台单击用户名，选择“我的凭证 > 访问密钥”后获取。 单击“保存”，系统回到连接管理界面。 选择“表/文件迁移 >
常用EL表达式样例合集 本章节介绍常用的EL表达式及示例。 表1 常用的EL表达式 方法 描述 示例 String getNodeStatus(String nodeName) 获取指定节点运行状态，成功状态返回success，失败状态返回fail。 例如，判断节点是否运行成功，
表2所示。 表2 Hive与Hetu的策略映射关系 Hive Hetu 资源映射关系 hive数据源 Hetu Catalog hive数据库 Hetu Schema hive表 Hetu表 hive列 Hetu列 权限映射关系 select select、use update
说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dli_link 访问标识(AK) 访问DLI数据库时鉴权所需的AK和SK。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 登录控制台，在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面，选择“访问密钥
开发一个Python作业 本章节介绍如何在数据开发模块上开发并执行Python作业示例。 环境准备 已开通弹性云服务器，并创建ECS，ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像，并且使用ECS自带
MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS
这个不影响字段值的传输，CDM会将字段值直接写入目的端。 这里“添加新字段”的功能，要求源端数据源为：MongoDB、HBase、关系型数据库或Redis，其中Redis必须为Hash数据格式。 全部字段添加完之后，检查源端和目的端的字段映射关系是否正确，如果不正确可以拖拽字段调整字段位置。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
连接管理 创建两个连接，一个源连接OBS连接，用于读取存储在OBS上的原始数据，一个目的连接MRS Hive连接，用于将数据写入MRS Hive数据库中。 单击“新建连接”，进入相应页面后，选择连接器类型“对象存储服务（OBS）”，单击“下一步”，然后如下图所示配置连接参数，单击“保存”。
MRS Kafka数据连接参数说明 表1 MRS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 MRS Kafka连接固定选择为MapReduce服务（MRS Kafka）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。
MRS Clickhouse数据连接参数说明 表1 MRS Clickhouse数据连接 参数 是否必选 说明 数据连接类型 是 MRS Clickhouse连接固定选择为MapReduce服务（MRS Clickhouse）。 数据连接名称 是 数据连接的名称，只能包含字母、数
）分隔，例如192.168.0.1:9200;192.168.0.2:9200。 用户名、密码：配置为访问云搜索服务集群的用户，需要拥有数据库的读写权限。 图2 创建云搜索服务连接 单击“保存”回到连接管理界面。 创建OBS连接 单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
