检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决方案 作业日志在OBS桶中存储，您需要先在工作空间中配置作业日志的桶目录，然后确认当前账户是否具有OBS读权限（可以通过检查IAM中OBS权限、OBS桶策略来确认）。 OBS路径仅支持OBS桶，不支持并行文件系统。
运维者操作 运维者作为运维管理的负责人，需要对生产环境的作业、实例、通知、备份等进行统一管控，相关操作如下表所示。 表1 运维者操作 操作 说明 作业监控 包含对批作业、实时作业的监控。 具体请参见作业监控。 实例监控 对作业实例进行监控，作业每次运行，都会对应产生一次作业实例记录
通过公网连通网络 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在本地IDC场景下，通过公网打通网络的方案。
“OBS”触发事件类型的参数（当前仅上海二区域支持） 说明： “OBS”触发事件类型的事件驱动调度，依赖于OBS的“事件通知 -> DIS通知”功能，由于OBS该功能在华为云暂未正式上线，因此当前暂时无法使用OBS触发事件类型。 OBS路径 选择要监听的OBS路径。
正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的结果写入目的端。
正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的结果写入目的端。
RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS，则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化（如MRS集群扩容等情况）时，您需要重新编辑并保存该连接。
当“规则类型”选择“表级规则”，数据对象选择对应的数据表。 当“规则类型”选择“自定义规则”，表名选择对应的数据表。 SQL 当“规则类型”选择“自定义规则”时，需要配置该参数。此处需输入完整的SQL语句，定义如何对数据对象进行数据质量监控。
迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限，否则会导致迁移失败。
准备工作 查询打通网络过程中所涉及到对象的网段（包含数据源、中转VPC、资源组），为便于理解，本章节将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源网段 其他云上数据源所属私网网段，请用户根据实际情况自行获取。
（可选）修改作业日志存储路径 作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。
关联对象 表示该字段名称的配置类型对应的关联对象。比如衍生指标的名称。 主键 选中时表示该字段为主键。
准备工作 查询打通网络过程中所涉及到对象的网段（包含数据源、中转VPC、资源组），为便于理解，本章节将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源网段 其他云上数据源所属私网网段，请用户根据实际情况自行获取。
上传数据到名称为“fast-demo”的OBS桶中。 使用OBS控制台上传文件的操作，请参见《对象存储服务控制台指南》中的上传文件。
可以通过“对象”、“创建人”或“审核人”进行筛选，查看已审核的对象。系统支持模糊搜索。 我的申请 可以查看自己提交的申请对象，是否审核通过还是审核中。同时，审核中的对象支持撤回。 单击对象名称或者“操作 > 查看”，可以跳转到详情页面查看自己提交审核的对象。
对象存储服务（OBS） 请参见OBS数据连接参数说明。 Apache HDFS 请参见Apache HDFS数据连接参数说明。 MRS Hudi 请参见MRS Hudi数据连接参数说明。 Elasticsearch 请参见Elasticsearch数据连接参数说明。
OBSManager：OBS路径管理，包括创建和删除路径。
对象存储 对象存储服务（OBS） 支持按文件分片。 文件系统 FTP 支持按文件分片。 SFTP 支持按文件分片。 HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。
导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。 旧空间导出数据 请您登录控制台首页，选择并进入旧工作空间的“数据开发”模块，然后执行如下操作依次导出脚本、导出作业、导出环境变量、导出资源。 导出脚本 在数据开发主界面，单击左侧导航上的“脚本开发”，进入脚本目录。
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？ 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 父主题： 数据集成（CDM作业）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
