检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在管理中心页面，单击“资源迁移”，进入资源迁移页面。 图1 资源迁移 单击“新建导出”，配置文件的OBS存储位置和文件名称。 图2 选择导出文件 单击“下一步”，勾选导出的模块。 图3 勾选导出的模块 单击“下一步”，等待导出完成，资源包导出到所设置的OBS存储位置。 图4 导出完成 导出资源耗时1分钟仍未显示结果则
适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式，只追加写入文件，不会更新或删除已存在的记录。 关键配置：文件/路径过滤器+定时执行作业。 前提条件：源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景：源端数据源为文件类型（OBS/HDFS/F
"name": "value"}, "body") 进行签名，执行此函数会在请求参数中添加用于签名的X-Sdk-Date头和Authorization头。然后为请求添加x-Authorization头，值与Authorization头相同。
task pauseJob 节点恢复 task resumeJob 节点手工重试 task redoJobs 节点跳过 task skipJob 节点强制成功 task forceJobSuccess 新建脚本 script addScript/createScript(api) 执行脚本
重跑策略 从上一个检查点重跑 重新启动 输入数据路径 设置输入数据路径，系统支持从HDFS或OBS的目录路径进行配置。 输出数据路径 设置输出数据路径，系统支持从HDFS或OBS的目录路径进行配置。 表3 高级参数 参数 是否必选 说明 作业状态轮询时间（秒） 是 设置轮询时
适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式，只追加写入文件，不会更新或删除已存在的记录。 关键配置：文件/路径过滤器+定时执行作业。 前提条件：源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景：源端数据源为文件类型（OBS/HDFS/F
导出zip格式的解决方案文件至本地。 导入解决方案 导入解决方案功能依赖于OBS服务，如无OBS服务，可从本地导入。 在解决方案目录中，右键单击根目录“解决方案”，选择“导入解决方案”，导入已上传到OBS或者本地的解决方案文件。 在硬锁策略下，如果锁在其他人手中，重名策略选择了覆
时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 是 table 高级属性 查询筛选 创建用于匹配文档的筛选器。 例如：{HTTPStatusCode:{$gt:"400",$lt:"500"},HTTPMethod:"GET"}。
在管理中心页面，单击“资源迁移”，进入资源迁移页面。 图1 资源迁移 单击“新建导出”，配置文件的OBS存储位置和文件名称。 图2 选择导出文件 单击“下一步”，勾选导出的模块。 图3 勾选导出的模块 单击“下一步”，等待导出完成，资源包导出到所设置的OBS存储位置。 图4 导出完成 导出资源耗时1分钟仍未显示结果则
仅供参考。 参数默认值 自定义SQL可设置入参用于执行，SQL入参需要与参数默认值顺序匹配（数据质量单点执行时）。 说明： 当通过数据开发任务调度质量算子的时候，优先使用数据开发中定义的参数值。 字段名 仅用于异常表。配置字段名称用于异常表数据。 示例：column1,column2
创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？ 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？ 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？ 如何处理CDM连接器报错“配置项 [linkConfig.iamAuth] 不存在”？
”之后查看日志，日志中会打印出EL表达式的值。 使用Create OBS节点。 如果上述方法均不可用，则可以通过Create OBS去创建一个OBS目录，目录名称就是EL表达式的值，单击“测试运行”后，再去OBS界面查看创建出来的目录名称。 父主题： EL表达式参考
Driver：连接GaussDB数据源时，选择此驱动程序名称。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动：获取地址https://downloads.mysql.com/archives/c-j/，建议5
覆盖原有数据。 UPSERT：需要指定主键。如果主键已经存在，覆盖原有数据；如果主键不存在，则新建文档写入。 INDEX 管道ID 该参数用于数据传到Elasticsearch后，通过Elasticsearch的数据转换pipeline进行数据格式变换。 目的端为Elastics
开发作业前，您可以通过图1了解数据开发模块作业开发的基本流程。 图1 作业开发流程 新建作业：当前提供两种作业类型：批处理和实时处理，分别应用于批量数据处理和实时连接性数据处理，其中批处理作业还支持Pipeline和单节点作业两种模式，具体请参见新建作业。 开发作业：基于新建的作业
（可选）获取认证信息 DataArts Studio使用过程中，例如在数据集成创建OBS连接、API调用或问题定位时，您可能需要获取访问密钥、项目ID、终端节点等信息，获取方式如下。 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台，在用户名下拉列表中选择“我的凭证”。
是共用的，允许开发者修改。 企业模式：工作空间的环境变量只有管理员才能创建或编辑环境变量。 导入环境变量 导入环境变量功能依赖于OBS服务，如无OBS服务，可从本地导入。 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts
into/overwrite等DML操作产生的MRS表之间的血缘。 CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 手动配置血缘 在DataArts Studio数
into/overwrite等DML操作产生的MRS表之间的血缘。 CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 手动配置血缘 在DataArts Studio数
务组。 “OBS”触发事件类型的参数（当前仅上海二区域支持） 说明： “OBS”触发事件类型的事件驱动调度，依赖于OBS的“事件通知 -> DIS通知”功能，由于OBS该功能在华为云暂未正式上线，因此当前暂时无法使用OBS触发事件类型。 OBS路径 选择要监听的OBS路径。如果该
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
