检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业中创建的CDM作业“obs_rds”。 作业编排完成后,单击,测试运行作业。 如果日志运行正常,单击右侧的“调度配置”,配置作业的调度策略。 图12 调度配置 说明: 2018/10/10至2018/11/09,每天2点执行一次作业。 最后我们需要保存作业并提交版本,执行调度作业(单击),实现作业每天自动运行。
进入时间周期页面后,单击“新建”按钮。 在新建时间周期页面,参考表1配置参数。 图2 时间周期 表1 新建时间周期参数说明 参数名称 说明 *周期名称 只能包含中文、英文字母、数字和下划线,且必须以中文或英文字母开头。 *周期编码 只能包含英文字母、数字和下划线。 *时间配置 可选择“按年”、“按月”、“按日”
键字,然后单击“搜索”,搜索结果以列表方式显示。 勾选需要添加标签的资产,单击右上角“标识”。在添加标识对话框中配置标签。 图1 添加标识 选择标识种类为标签,并配置标签,单击“确定”提交。 此处支持全新添加标签,也支持选择已有标签。已有标签来源于管理标签。 父主题: 查看工作空间数据地图
流程设计页面。 单击流程列表上方的“导入”按钮导入流程。 在“导入流程”对话框中,根据页面提示配置如下参数,然后先单击“添加文件”后,再单击“上传文件”。 图5 导入流程 表2 导入配置参数说明 参数名 说明 更新已有数据 如果所要导入的流程,在DataArts Studio数据
Spark_Python”。 图2 新建作业 进入到作业开发页面,拖动“MRS Spark Python”节点到画布中并单击,配置节点的属性。 图3 配置MRS Spark Python节点属性 参数设置说明: --master yarn --deploy-mode cluster
在更新后默认为解除锁定状态。您需要通过“抢锁”功能获取锁定后,才能继续编辑、保存或提交。 抢锁的操作依赖于软硬锁的处理策略。配置软硬锁的策略请参见配置默认项。 软锁:忽略当前作业或脚本是否被他人锁定,可以进行抢锁或解锁。 硬锁:若作业或脚本被他人锁定,则需锁定的用户解锁之后,当前使用人方可抢锁,空间管理员或DAYU
运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在
数据集成(实时作业) 问题案例总览 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? 如何配置Hudi Compaction的Spark周期任务? MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中
使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍
样本时,默认填充分类为左侧选中的分类。 图3 新建样本 在弹出的新建窗口中填写样本信息,参考表1完成配置。配置完成后单击“确定”即可。 图4 新建样本窗口 表1 新建样本参数配置 参数 参数描述 *名称 样本名称,只能包含英文字母、数字、“_”,且长度不能超过64个字符,超出部分将被截断。
t-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 variables 否 Object 启动作业,配置变量参数,作业配置无变量时,为空对象。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 submissions Array
在更新后默认为解除锁定状态。您需要通过“抢锁”功能获取锁定后,才能继续编辑、保存或提交。 抢锁的操作依赖于软硬锁的处理策略。配置软硬锁的策略请参见配置默认项。 软锁:忽略当前作业或脚本是否被他人锁定,可以进行抢锁或解锁。 硬锁:若作业或脚本被他人锁定,则需锁定的用户解锁之后,当前使用人方可抢锁,空间管理员或DAYU
myhuaweicloud.com HTTPS 华北-北京二 cn-north-2 cdm.cn-north-2.myhuaweicloud.com HTTPS 华北-北京四 cn-north-4 cdm.cn-north-4.myhuaweicloud.com HTTPS 华北-乌兰察布一 cn-north-9
据。 fromJobConfig.schemaName 是 String 数据库模式或表空间,例如:“public”。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *
对象存储服务OBS MRS Hudi组件(MRS Hudi作为一种数据格式,元数据存放在Hive中,操作通过Spark进行。在Hudi表开启“同步hive表配置”后,可通过采集MRS Hive元数据的方式采集Hudi表的元数据) 详情请参见支持的数据源。 父主题: 数据目录
运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在
问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到
于个人调试开发。在开发态下,可以随意编辑、保存、运行脚本/作业,不会影响调度中的脚本/作业;另外在作业关联脚本、配置作业依赖时,被关联的脚本/作业均会读取开发态的配置。 生产态:提交后版本的脚本/作业为生产态,用于正式调度。在正式调度中,调用脚本、实例重跑、作业依赖、补数据等场景均是关联脚本/作业最新的已提交版本。
g转bigint,bigint转int。 解决方案 根据报错信息找到哪个字段映射有问题,找DBA修改表结构。 如果只有极少数据有问题,可以配置脏数据策略解决。 父主题: 数据集成(CDM作业)
"true" Where: COPY sd_mask_ext, line 1, column mask_type。 原因分析 MySQL默认开启配置tinyInt1isBit=true,会将TINYINT(1)当作BIT也就是Types.BOOLEAN来处理,将1或0读取为true或false。