检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成配置 数据库名称 是 要连接的数据库。 单次请求行数 否 指定单次请求获取的行数。默认1000。 连接属性 否 可选参数。单击“添加”可增加多个指定数据源的JDBC连接器的属性(属性名称和值),参考对应数据库的JDBC连接器说明文档进行配置。 引用符号 否 配置引用符号,例如"。
String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统生成,
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量
可通过导入的方式将原子指标批量快速的导入到系统中。 在原子指标列表上方,单击“更多 > 导入”,进入“导入配置”页签。 图3 导入原子指标 下载原子指标导入模板,编辑完成后保存至本地。 选择是否更新已有数据。 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。
String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统生成,
单击左侧导航树中的“空间资源权限”,进入空间资源权限页面。 图1 进入空间资源权限页面 单击空间资源权限页面的“新建” ,在弹出的策略配置页参考表1配置相关参数,配置完成单击“保存”,策略配置完成。 表1 配置空间资源权限策略参数说明 参数名 参数描述 *策略名称 标识空间资源权限策略,为便于策略管理,建议名称中包含资源对象和授权对象。
通过数据目录查看数据血缘关系 数据血缘方案简介 配置数据血缘 查看数据血缘 父主题: 数据目录典型场景教程
一致时,需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对
勾选所有服务并单击“同意授权”,系统会在IAM服务自动创建dlg_agency默认委托。 完成了委托授权后,下次再进入DataArts Studio控制台首页时,系统不会再弹出访问授权的对话框。 如果您只勾选了其中的某几个服务进行委托授权,下次进入DataArts Studio控制台首页时,系统仍会弹出
设置完成后,单击“立即创建”。当符合规则的告警产生时,系统会自动进行通知。 更多关于监控告警的信息,请参见云监控用户指南。 配置所有资源告警 用户可以对实时处理集成作业的监控指标设置告警策略。当监控指标在一定周期内多次触发告警策略的阈值时,系统将向用户发送告警通知。具体操作请参见创建告警规则和通知。
String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统生成,
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重
Jar单任务作业中使用参数模板。 在脚本中引用脚本模板时,SQL语句的写法为@@{脚本模板}。 前提条件 已创建模板。如果模板还未创建,请参见配置模板进行创建。 引用模板案例 Flink SQL脚本可以引用脚本模板。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 右键单击脚本,选择“新建Flink
度、调度配置等,详情请参见批作业监控:调度作业。 通知配置 在作业的“操作”列,选择“更多 > 通知配置”,弹出“通知配置”页面,参考表1配置通知参数。 单击“通知配置”按钮,也可以配置作业通知信息,参考表1配置通知参数。 此通知配置为作业的新增配置,如果对已有通知配置进行修改,
(可选)在数据架构控制台,单击左侧导航树中的“配置中心”,在功能配置下选择是否开启“时间限定生成使用动态表达式”功能,默认关闭。 图1 功能配置 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“时间限定”页签。 进入时间限定页面后,单击“新建”按钮。 在新建时间限定页面,参考表1配置参数,然后单击“发布”。
在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 在资源目录中,单击,选择“导出资源”,系统开始下载资源到本地。 查看资源引用 当用户想要查看某个资源被引用的情况时,可以参考如下操作查看引用。 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 在资源目录
该功能由源端作业参数“MD5文件名后缀”控制(“文件格式”为“二进制格式”时生效),配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件,例如build.sh和build.sh.md5在同一目录下。若配置了“MD5文件名后缀”,则只迁移有MD5值的文件至目的端,
运行历史功能可支持查看脚本、作业和节点的一周(7天)内用户的运行记录。 前提条件 运行历史功能依赖于OBS桶,若要使用该功能,必须先配置OBS桶。请参考配置OBS桶进行配置。 脚本运行历史 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
该功能由源端作业参数“MD5文件名后缀”控制(“文件格式”为“二进制格式”时生效),配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件,例如build.sh和build.sh.md5在同一目录下。若配置了“MD5文件名后缀”,则只迁移有MD5值的文件至目的端,
清除全部数据:写入数据前会清除目标表中数据。 清除部分数据:需要配置“where条件”参数,CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and