检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
内容表达式;只有当rule_type为CUSTOM且method为REGULAR时才必需要此参数。 column_expression 否 String 列表达式;只有当rule_type为CUSTOM且method为REGULAR时才必需要此参数。 commit_expression 否 String
DMS Kafka连接参数说明 连接DMS的Kafka队列时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 DMS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的
能会生成的实例,显示的未生成实例数量不超过100个。 对于未来时间内尚未生成的作业实例,可以进行“冻结”和“解冻”操作。您可以单击作业实例列表上面的“冻结”和“解冻”按钮,或者通过右侧操作列的“更多”中选择冻结和解冻进行冻结和解冻操作,支持批量操作。 冻结:作业实例尚未生成或者作
中的JSON内容,格式化为Java字符串语法,然后粘贴到此处。 *JSON消息体中一般只需要替换连接名、导入和导出的表名、导入导出表的字段列表、源表中用于分区的字段。**/ String json = "{\r\n"+ "\"jobs\": [\r\n"+ "{\r\n"+ "
请求Body参数 参数 是否必选 参数类型 描述 time 否 String 截止时间。 app_ids 否 Array of strings APP编号列表。 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg
作业id,当前重跑实例的作业id。 plan_time 是 Long 实例计划时间,13位时间戳,可通过查询作业实例列表接口获取。 submit_time 是 Long 实例提交时间,13位时间戳,可通过查询作业实例列表接口获取。 表5 jobs 参数 是否必选 参数类型 描述 job_name 是 String
API_DEBUG_SUCCESS:调试成功 publish_messages Array of ApiPublishDTO objects 发布信息列表(专享版)。 request_paras Array of RequestPara objects API请求参数。 datasource_config
导出导入作业 导出作业,均是导出开发态的最新的已保存内容。 导入作业,会覆盖开发态的内容并自动提交一个新版本。 数据开发在跨时区导出导入作业时,需要手动修改expressionTimeZone字段为目标时区。 导出作业 参考访问DataArts Studio实例控制台,登录DataArts
作业算子个数,批量查询根据作业算子获取血缘。 data Array of TableLineageInfo objects 当前页作业算子包含的表血缘列表 表5 TableLineageInfo 参数 参数类型 描述 source_guid String 上游血缘资产guid。 source_qualified_name
String API创建人名称。 description 否 String API描述。 tags 否 Array of strings API标签列表。 table_name 否 String API所使用到的数据库表名。 publish_status_type 否 String API发布状态。
Hive连接 介绍 通过Hive连接,可以对MRS的Hive数据源进行抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 { "links":
枚举值: THIRD_NF: 关系建模 DIMENSION: 维度建模 biz_catalog_ids String 关联的业务分层的ID列表 {"l1Ids":[],"l2Ids":[],"l3Ids":[]}。 databases Array of strings 数据库名称数组。
枚举值: THIRD_NF: 关系建模 DIMENSION: 维度建模 biz_catalog_ids String 关联的业务分层的ID列表 {"l1Ids":[],"l2Ids":[],"l3Ids":[]}。 databases Array of strings 数据库名称数组。
是否支持字段转换? 支持,CDM支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 表达式转换 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下:
公共消息头 公共请求消息头 公共请求消息头如表1所示。 表1 公共请求消息头 名称 描述 是否必选 示例 Content-Type 消息体的类型(格式),默认取值为“application/json”。 如果请求消息体中含有中文字符,则还需要通过charset=utf8指定中文字符集。
HBase连接参数说明 目前CDM支持连接的HBase数据源有以下几种: MRS HBase FusionInsight HBase Apache HBase 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS HBase
mit的整数倍,不满足则向下取整,默认值0。 biz_catalog_id_list 否 Array of strings 所属主题的ID列表,ID字符串。 biz_type_list 是 Array of strings 查询的表类型,必填。 枚举值: TABLE_MODEL_LOGIC:
dy体则无需填写和校验。 表4 请求Body参数 参数 是否必选 参数类型 描述 ids 是 Array of strings 审批单ID列表,ID字符串。 msg 是 String 审批单信息,审批人填写的审批意见。 响应参数 状态码:200 表5 响应Body参数 参数 参数类型
文件水印 本章主要介绍如何进行文件水印相关操作。 对结构化数据文件(csv、xml和json)注入暗水印,水印内容不可见,需要进行水印提取。 对非结构化数据文件(docx、pptx、xlsx和pdf)注入明水印,可在本地打开文件,查看水印内容。 约束与限制 结构化数据文件暗水印的
数据开发配置数据搬迁 当前管理中心支持直接搬迁数据开发组件中已提交版本的脚本和作业数据,但导出作业时默认只导出作业,不包含其依赖的脚本和资源。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据开发的导入导出功能进行搬迁。 数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。