检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何处理CDM连接器报错“配置项 [linkConfig.iamAuth] 不存在”? 客户证书过期,需要完成更新证书操作,完成后重新配置连接器即可。 父主题: 数据集成(CDM作业)
查看权限报告 本章主要介绍如何查看资源配置权限策略及详情。 前提条件 已完成权限策略配置,未配置请参考配置资源权限。 查看策略及详情 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“权限报告”,进入权限报告页面。
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
勾选需要导出的作业,单击 > 导出作业,可选择“只导出作业”或“导出作业及其依赖脚本和资源定义”。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。 图2 导出作业 导入作业
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
作业调度支持每月最后一天 场景描述 在配置作业调度时,可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天,请参考下面两种方法。 表1 配置每月最后一天进行调度 配置方法 优势 如何配置 调度周期配置为天,通过条件表达式进行判断是否为每月最后一天 可以灵活适用
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
作业调度支持每月最后一天 场景描述 在配置作业调度时,可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天,请参考下面两种方法。 表1 配置每月最后一天进行调度 配置方法 优势 如何配置 调度周期配置为天,通过条件表达式进行判断是否为每月最后一天 可以灵活适用
使用Token认证时必选。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。 Content-Type
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
数据安全支持成员管理视图,支持查看当前工作空间内成员的权限,并进行角色/权限集管理。 前提条件 为成员添加或删除所在的角色/权限集前,已完成权限集或角色的配置,请参考配置权限集或配置角色。 约束与限制 仅DAYU Administrator、Tenant Administrator、数据安全管理员或者角色/
ppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Go安装包,如果未安装,请至Go官方网站下载。 获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 已在IntelliJ IDEA中安装Go插件,如果未安装,请按照图1所示安装。
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
zip”压缩包并解压。在浏览器中打开demo.html,页面如下图所示。 填入Key、Secret、方法名、请求协议、域名和url(认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全)。本示例从前端输入,仅用于演示,例如: 1 2 3
直接修改该作业。 保持作业基本参数不变,单击“下一步”修改任务参数,如图1所示。 图1 定时任务配置 勾选“是否定时执行”,配置定时任务: “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样CDM每天凌晨自动执行全量迁移,但因为“重复文件处理方式”选择了“跳
在“通知管理”页签,单击“通知配置”,弹出“通知配置”页面,配置如表1所示的参数。 图1 通知配置 表1 通知参数 参数 是否必选 说明 作业范围 是 选择通知的范围: 单个作业:对单个作业发送通知。 所有作业:对所有作业发送通知。所有作业指当前已有的作业和后续新创建的作业会使用这个通知配置。 作业名称
Shell/Python节点执行失败,后台报错session is down 本指导以Shell算子为例。 问题现象 Shell节点运行失败了,实际上Shell脚本运行成功了。 原因分析 获取Shell节点的运行日志。 [2021/11/17 02:00:36 GMT+0800]
质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。 extend_info String 扩展信息。 from_standard Boolean 是否来源于数据标准质量配置,只读。 result_description
运行历史 运行历史功能可支持查看脚本、作业和节点的一周(7天)内用户的运行记录。 前提条件 运行历史功能依赖于OBS桶,若要使用该功能,必须先配置OBS桶。请参考配置OBS桶进行配置。 脚本运行历史 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。