检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“请选择”按钮，您可以选择一个已创建的OBS桶和对象，系统将基于工作空间全局配置作业日志OBS桶。 如果不配置该参数，DataArts Studio数据开发的作业日志默认存储在以“dlf-log-{projectId}”命名的OBS桶中。{projectId}即项目ID，您可以参考如下步骤进行获取。
是 列表文件源连接 文本文件存储在OBS桶中，这里需要选择已建立的OBS连接。 obs_link 列表文件OBS桶 存储文本文件的OBS桶名称。 obs-cdm 列表文件或目录 在OBS中存储文本文件的文件自定义目录，多级目录可用“/”进行分隔。 test1 文件格式 传输数
批量资产关联分类 功能介绍 批量资产关联分类：只支持对数据表的列和OBS对象添加分类。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/asset/entities/classification 表1 路径参数 参数 是否必选 参数类型 描述
Create OBS OBS路径不支持s3a://开头的日志路径。 约束限制 该功能依赖于OBS服务。 功能 通过Create OBS节点在OBS服务中创建桶和目录。 参数 用户可参考表1和表2配置Create OBS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是
OBS Manager 约束限制 该功能依赖于OBS服务。 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1，表2和表3配置OBS Manager节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含
Language，简称EL），根据运行环境动态生成参数值。数据开发EL表达式包含简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。 环境变量：环境变量是在操作系统中一个具有特定名字的对象，它包含了一个或者多个应用程序所使用到的信息。 补数据：手工触发周期方式调度的作业任务，生成某时间段内的实例。
配置DDS目的端参数 作业中目的连接为DDS连接时，即导入数据到文档数据库服务（DDS）时，目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合，相当于关系数据库的
配置OpenTSDB目的端参数 作业中目的连接为CloudTable OpenTSDB连接时，目的端作业参数如表1所示。 表1 OpenTSDB作为目的端时的作业参数 参数名 说明 取值样例 指标 可选参数，输入指标名称，或选择OpenTSDB中已存在的指标。 city.temp
配置Oracle目的端参数 作业中目的连接为Oracle数据库连接时，目的端作业参数如表1所示。 表1 Oracle作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。
配置DWS目的端参数 作业中目的连接为DWS连接时，目的端作业参数如表1所示。 表1 目的端为DWS时的作业参数 参数名 说明 取值样例 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 自动创表 只有当源端为
NULL。 1 Boolean 对象 object 扁平化存储对象的字符串。 {"users.name":["John"，"Smith"]， users.age":[26，28]， "users.gender":[1，2]} TEXT 嵌套 nested 嵌套存储对象的字符串。 {"users
审批DWS权限申请时提示“缺少必要的请求参数”怎么办？ 可能原因 此报错一般是因为授权对象未同步到DWS数据源引起的。 解决方案 您可以通过同步用户，重新将授权对象同步到DWS数据源，然后再次尝试审批申请。 父主题： 数据安全
通过云专线连通网络 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在本地IDC场景下，通过云专线打通网络的方案。 图1 网络示意图
配置MRS Hudi目的端参数 作业中目的连接为MRS Hudi连接时，目的端作业参数如表1所示。 表1 MRS Hudi作为目的端时的作业参数 通用配置 配置项 配置说明 推荐配置 目的连接名称 选择已配置的MRS Hudi连接。 hudi_to_cdm 数据库名称 输入或选择
配置Redis目的端参数 当作业将数据导入到Redis时，目的端作业参数如表1所示。 表1 Redis作为目的端时的作业参数 参数名 说明 取值样例 Redis键前缀 键的前缀，类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式： STRING：不带列名，如“值1，值2”形式。
Time ' 文字定界符 无示例 " 单引号 无示例 日期和时间模式一般在DateUtil内嵌对象和Job内嵌对象中使用，更多日期和时间模式的使用举例，请参见DateUtil内嵌对象和Job内嵌对象。 举例 获取作业计划调度时间的前一天日期，EL表达式如下： #{DateUtil.format(DateUtil
h类型，可输入新的类型，CDM支持在目的端自动创建类型。 高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如图5所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。
配置HDFS目的端参数 作业中目的连接为HDFS连接时，目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配
配置MongoDB目的端参数 作业中目的连接为MongoDB连接时，目的端作业参数如表1所示。 表1 MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合，相当于关系数据库的表名。单击输入框后
理。 对象存储服务（OBS）数据源约束 迁移文件时系统会自动并发，任务配置中的“抽取并发数”无效。 不支持断点续传。CDM传文件失败会产生OBS碎片，需要用户到OBS控制台清理碎片文件避免空间占用。 不支持对象多版本的迁移。 增量迁移时，单个作业的源端目录下的文件数量或对象数量，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
