正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
D两种,通过$job_id和$instance_id获取。 使用简易变量集时,需要打开简易变量集的开关,功能才能生效。开关打开的方法请参见配置默认项 > 是否使用简易变量集。 业务日期参数 业务日期是指在调度时间内,任务预期调度运行时间的前一天(即昨天)。例如,调度日期为2023
连接名称。 type 是 String 连接类型。 params 否 Map<String,Stri ng> 连接参数,参数名称请参考每种类型的连接配置项说明,默认值为空。 响应参数 参数名 是否必选 参数类型 说明 taskId 是 String 任务ID,请调用查询系统任务接口获取导入状态。
Studio与数据湖底座进行对接,用于数据开发与数据治理等活动。 数据集成 数据集成提供20+简单易用的迁移能力和多种数据源到数据湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。 数据架构 作为数据治理的一个核心模块,承担数据治理过程中的数据加工并业务化的功能,提供智能
单击左侧导航树中的“数据水印溯源”,进入数据水印溯源页面,在页面上方单击“新建”。 图1 创建数据水印溯源任务 在弹出的创建任务页面输入信息,参数配置请参考表1。 图2 创建数据水印溯源任务 表1 水印溯源任务参数描述 参数名 参数描述 任务名称 嵌入水印任务的名称,只能包含英文字母、数
选择IAM应用类型,IAM认证方式的API只能授权给IAM类型的应用。 IAM:IAM类型应用为IAM认证方式的API进行授权。IAM类型应用为实例级别配置,应用名称固定为华为账号,每个DataArts Studio实例下仅能创建一个,各工作空间之间均可见。 APP:APP类型应用为APP认证
描述,长度不能超过255个字符。 directory 否 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 请求示例 查询资源详情 GET /v1/b384b
<snapshotDir> [s0] hdfs dfs -createSnapshot test CDM通过HDFS Snapshot复制文件至MRS。CDM的作业配置: “源目录或文件”输入:/hbase/data/default/src_test/.snapshot/s0 目的端“写入目录”输入:/h
描述,长度不能超过255个字符。 directory 否 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 响应参数 表4 参数说明 参数名 是否必选 参数类型
Jar单任务作业中使用参数模板。 在脚本中引用脚本模板时,SQL语句的写法为@@{脚本模板}。 前提条件 已创建模板。如果模板还未创建,请参见配置模板进行创建。 引用模板案例 Flink SQL脚本可以引用脚本模板。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 右键单击脚本,选择“新建Flink
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
据追加写入。 shouldClearTable:写入数据前会清除目标表中数据。 whereClause:选择根据where条件删除时,需要配置“toJobConfig.whereClause”参数,CDM根据条件选择性删除目标表的数据。 toJobConfig.whereClause
描述,长度不能超过255个字符。 directory 是 String 资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 表4 DependPackage参数说明 参数名 是否必选
质量规则接口 表26 质量规则接口 API 说明 API流量限制(次/min) 用户流量限制(次/min) 更新表的异常数据输出配置 更新表的异常数据输出配置,包括是否生成异常数据、设置异常数据数据库或Schema、设置异常表表前缀/表后缀。 10800 120 清空质量规则 清空表的质量规则。
择“原子指标”页签进入原子指标页面。 在左侧主题目录中选中一个主题,然后单击“新建”按钮,开始新建原子指标。 在新建原子指标页面,参考表1配置参数,然后单击“发布”。 图1 新建原子指标 表1 新建原子指标参数说明 参数名称 说明 *指标名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
count Integer 总数量。 resources Array of SubInstanceResult objects 子作业实例资源配置ID。 表4 SubInstanceResult 参数 参数类型 描述 sub_rule_id String 子规则ID。 sub_instance_instance_id
单实例下回收站中的权限集和动态脱敏策略分别最多保存1000条数据,超过1000条后会自动清理更早删除的数据。 数据还原操作时,如果“同名处理方式”参数配置为“名称添加时间戳”,则如果同名会在还原数据的原名称后添加时间戳信息(原名称_13位时间戳)。如果添加时间戳后总长度超过64,会对原名称进
dw_name String 数据连接名称。 dw_type String 数据连接类型。 dw_config Object 连接动态变化配置项,每种连接略有区别,建议在界面进行调试。 agent_id String CDM集群ID,获取方法请参见查询集群列表。 agent_name