检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入数据前,选择是否清除目的表的数据: 不清除:写入数据前不清除目标表中数据,数据追加写入。 清除全部数据:写入数据前会清除目标表中数据。 清除部分数据:需要配置“where条件”参数,CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 导入开始前为清除部分数据时,显示该参数。
时间,判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量 用户需要根据基线上任务历史一段时间内的最晚完成时间,将基线承诺时间设置在基线上任务最晚完成时间之后,并预留一定的预警余量。以保证在收到任务异常的预警信息后能够在承诺时间内完成异常处理。
说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 total 是 Long 总记录数 instances
表3 请求Body参数 参数 是否必选 参数类型 描述 resource_id 是 String 资源ID。 type 是 String 需要导入的资源类型:rule-template表示质量规则模板,quality-task表示质量作业,consistency-task表示对账作业。
REPLACE:替换重复文件。 SKIP:跳过重复文件。 ABANDON:发现重复文件停止任务。 toJobConfig.columnList 否 String 需要抽取的字段列表,字段名之间使用“&”分割,例如:“id&gid&name”。 toJobConfig.encryption 否 枚举 选择
LOAD:写入前不做任何处理。 INSERT_OVERWRITE:对数据进行覆盖写入。 LOAD 分区 分区信息,表为分区表的时候,写数据的时候,可以选择需要写入的分区数据。 例如:year=2020,location=sun。 - 高级属性 入库时间字段 将一个字段标记为入库时间字段,自动建表
作情况进行监督,并听取各方汇报,形成最终监督结论后同步汇报至决策层。 制度流程 数据安全制度流程一般会从业务数据安全需求、数据安全风险控制需要,以及法律法规合规性要求等几个方面进行梳理,最终确定数据安全防护的目标、管理策略及具体的标准、规范、程序等。 数据安全管理制度文件可分为四
节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 图名称 是 可以直接选择需要导入的图,也支持手动输入图名称。 如需新建GES图,请前往GES管理控制台进行新建。 元数据来源 是 元数据来源支持以下两种方式: 已有文
每小时第18分钟执行,那么作业A需要依赖前一小时18分的B作业实例。 分钟依赖天 规则:分钟作业依赖自然天作业的前一个周期,需等上一个天周期作业执行完成后再执行。 例如:A依赖B,A分钟作业依赖B天作业,A每5分钟执行,B是2:30执行,那么A需要依赖前一天2:30之后B作业的实例。
String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 link_name 是 String 需要删除的连接名。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。
导入数据前,选择是否清除目的表的数据: 不清除:写入数据前不清除目标表中数据,数据追加写入。 清除全部数据:写入数据前会清除目标表中数据。 清除部分数据:需要配置“where条件”参数,CDM根据条件选择性删除目标表的数据。 清除部分数据 是否在集群操作 “导入开始前”参数选择为“清除部分数据”
说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String 使用Token认证时该字段必选,用户Token的长度要求如下: 最小长度:0
在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“通知记录”页签,进入通知记录页面。系统只能查看最近30天的数据。 图4 查看通知记录 删除通知 当用户不需要使用某个通知时,可以参考如下操作删除该通知。 在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“通知管理”页签。 支持如下两种方式删除通知。
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 表3 请求Body参数
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中选择需要查看的作业,右键单击作业名称,选择“查看作业依赖关系图”,界面弹出“作业依赖关系视图”页面。 图1 作业依赖关系视图 在弹出的“作业依赖关系视图”页面,支持如下操作:
息展示了业务场景实例的运行结果是否被成功订阅,例如,发送告警邮件。 2 导航栏 左侧导航栏,包括数据业务场景的存储目录。 用户可以根据实际需要对业务场景进行分目录存放,每级目录旁边的数字代表属于该级目录的业务场景的个数。 3 业务场景实例列表 展示实例名称、运行状态、运行结果等信息。
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 响应参数 状态码: 200
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 响应参数 状态码: 200
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 响应参数 状态码: 200
Client节点的参数。 表1 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择需要上传数据的Topic,如果有多个partition,默认发送到partition 0。 节点名称 是 节点名称,可以包含中文、英文字母、数