检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
S、OBS和CUSTOM。CUSTOM即自定义类型，在手动配置血缘时，对于不支持的数据源，您可以添加为自定义类型。 图1 手动配置血缘关系示例 例如，当需要配置数据开发Pipeline作业中MRS Spark节点的血缘关系时，由于MRS Spark节点不支持自动血缘解析，则需要手动配置MRS
删除：在参数值文本框后方，单击删除环境变量。 使用方法 当前配置好的环境变量支持如下两种使用方法： ${环境变量名} #{Env.get(“环境变量名”)} 操作示例 背景信息： 在数据开发模块系统中已创建一个作业“test”。 在环境变量中已新增一个变量，“参数名”为“job”，“参数值”为“123”。
S、OBS和CUSTOM。CUSTOM即自定义类型，在手动配置血缘时，对于不支持的数据源，您可以添加为自定义类型。 图1 手动配置血缘关系示例 例如，当需要配置数据开发Pipeline作业中MRS Spark节点的血缘关系时，由于MRS Spark节点不支持自动血缘解析，则需要手动配置MRS
zip”为SDK包的本地存放路径和SDK包名，请根据实际情况修改。 certutil -hashfile D:\javascript-sdk.zip SHA256 命令执行结果示例，如下所示： SHA256 的 D:\javascript-sdk.zip 哈希: 43da0b54d6b04d1f5ed7f278c29
”。 分别配置作业中的2个Import GES节点。由于1个Import GES节点只能选择一张点表和一张边表，并生成对应的元数据，因此本示例中使用2个Import GES节点依次进行导入。 Import GES节点说明： Import_GES_user-friend：在节点属性
dependOnLastNPeriodValue 否 Integer 依赖上N个周期 请求示例 查询作业myJob的详情。 GET /v1/b384b9e9ab9b4ee8994c8633aabc9505/jobs/myJob 响应示例 调用查询作业详情接口时，如果在参数中带上dependencies=
数据开发还支持配置通知管理，可以选择配置当作业运行异常/失败后，进行短信、邮件、控制台等多种方式提醒，此处不再展开描述。 至此，基于电影评分的数据集成与开发流程示例完成。此外，您还可以根据原始数据，分析不同类型电影的评分、浏览情况等，为营销决策、广告推荐、用户行为预测等提供高质量的信息。 父主题： 初
在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考常见问题章节进行排查。 其他限制 - 操作步骤 本小节以MongoDB到DWS的实时同步为示例，介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览， 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
选择关联的SQL脚本。 表33 审批人属性说明 参数名 是否必选 参数类型 说明 approverName 是 String 审批人名称。 响应参数 无 请求示例 创建一个作业名称为myJob的作业，作业类型为BATCH，作业调度配置为CRON，作业在目录树上的路径为/myDir，作业运行日志存放的
5000000”。 时间变量宏定义具体展示 假设当前时间为“2017-10-16 09:00:00”，时间变量宏定义具体如表1所示。 表中示例实际使用时必须嵌在''中使用，比如需要以yyyy-MM-dd格式返回当前时间时，参数为'${dateformat(yyyy-MM-dd)}'。
5000000”。 时间变量宏定义具体展示 假设当前时间为“2017-10-16 09:00:00”，时间变量宏定义具体如表1所示。 表中示例实际使用时必须嵌在''中使用，比如需要以yyyy-MM-dd格式返回当前时间时，参数为'${dateformat(yyyy-MM-dd)}'。
当作业使用事件驱动调度时，从通道获取的消息。 projectId String 当前数据开发模块所处项目ID。 表2 方法说明 方法 描述 示例 String getNodeStatus(String nodeName) 获取指定节点运行状态，成功状态返回success，失败状态返回fail。
、set字符类型长度在目标库会按照字节长自动扩大（因为DWS目标库为字节长）。 操作步骤 本小节以PostgreSQL到DWS的实时同步为示例，介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览， 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
String 错误码，如DS.6000，请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 比对版本ID为1295786824106741760与1301676931971940352之间的差异。 POST https://{e
打开列表文件功能时，支持读取OBS桶中文件（如txt文件）的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径（不支持目录），文件内容示例如下： /mrs/job-properties/application_1634891604621_0014/job.properties
e日志统一在存储在CDB库中，同时Oracle logminer只能运行在CDB库中。 操作步骤 本小节以Oracle到DWS的实时同步为示例，介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览， 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 请求示例 无 响应示例 状态码： 200 OK。 { "total" : 1, "relationships" : [ { "guid" :
源端为MySQL数据库，目的端为Hive、DWS时，支持的数据类型如下： 表2 开源MySQL数据库作为源端时支持的数据类型 类别 类型 简要释义 存储格式示例 Hive DWS 字符串 CHAR（M） 固定长度的字符串是以长度为1到255之间的字符长度（例如：CHAR（5）），存储右空格填充到指定的长度。
1协议的同步，如果需要同步，建议源库升级到TLS 1.2及以上版本。 操作步骤 本小节以Microsoft SQL Server到MRS Hudi的实时同步为示例，介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览， 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
在存储在CDB库中，同时Oracle logminer只能运行在CDB库中。 操作步骤 本小节以Oracle到MRS Hudi的实时同步为示例，介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览， 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
