检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String MongoDB/DDS的集合名称。 fromJobConfig.columnList 否 String 需要抽取的字段列表，字段名之间使用“&”分割，例如：“id&gid&name”。 fromJobConfig.isBatchMigration 否 Boolean 是否为整库迁移。
Kafka导出数据，专享版请任意输入，标准版请输入有效的消费组ID。 fromJobConfig.dataFormat 是 枚举 解析数据时使用的格式： BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.maxPollRecords
选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 说明： 当开启数据集成作业特性后，可勾选数据集成组件，勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置
Studio实例卡片上，通过“更多 > 配额使用量”，查看当前实例的配额使用量。也支持可以在空间管理处，通过对应空间的“操作 > 配额使用量”，查看每个工作空间的配额使用量。 设置配额使用量阈值告警 购买配额扩充增量包前，您可以设置配额使用量阈值告警。当触发告警时，表明您应当购买配
Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式： JSON：以JSON格式解析源数据。 CSV格式：以CSV格式解析源数据。 JSON格式 消费组ID 用户指定消费组ID。 如果是从DMS
Studio实例卡片上，通过“更多 > 配额使用量”，查看当前实例的配额使用量。也支持可以在空间管理处，通过对应空间的“操作 > 配额使用量”，查看每个工作空间的配额使用量。 设置配额使用量阈值告警 购买配额扩充增量包前，您可以设置配额使用量阈值告警。当触发告警时，表明您应当购买配
、作业参数、脚本参数同名冲突，调用的优先级顺序为：作业参数 > 工作空间环境变量参数 > 脚本参数。 环境变量、作业参数、脚本参数的介绍和使用方式如下： 环境变量中支持定义变量和常量，环境变量的作用范围为当前工作空间。 变量是指不同的空间下取值不同，需要重新配置值，比如“工作空间
数据开发API（V1）类型 类型 说明 连接管理（待下线） 连接管理类型接口。 说明： 连接管理能力由管理中心统一提供，相关接口已不再维护，推荐使用管理中心API进行连接管理。 脚本开发 脚本开发类型接口。 资源管理 资源管理类型接口。 作业开发 作业开发类型接口。 连接管理（待下线）
primaryKey 否 String 主键或唯一索引。 toJobConfig.columnList 否 String 需要写入的字段列表，字段名之间使用“&”分隔，例如：“id&gid&name”。 toJobConfig.pipeLine 否 String 需要先在kibana中创建管道
需要说明的是，默认在DataArts Studio数据开发组件使用队列时，数据源会使用数据连接上的账号进行认证鉴权。因此当用户在数据开发时，队列权限管控依然无法生效。需要您启用细粒度认证，使得在数据开发使用队列时，使用当前用户身份认证鉴权，从而使队列权限管控生效。 前提条件 仅DAYU
标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 基础与网络连通配置 MRS集群名 是 选择所属的MRS集群。仅支持连接MRS云服务，自建Hadoop集群必须在纳管到MRS云服务
关系数据库中的表名称。类型名称只能全部小写，不能有大写。 说明： Elasticsearch搜索引擎7.x及以上版本不支持自定义类型，只能使用_doc类型。此处即使自定义也不会生效。 type 操作 操作类型。 INDEX：不指定主键，es内部生成id，使得每次写入都是不同id的新增数据文件。
写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度C
数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM相关操作，与CDM迁移近一个月的数据相同，都是使用二进制直接传输文件目录，2个集群并发执行作业。 注意事项 当迁
中会自动填充该字段。 使用AK/SK认证时必选。 - X-Sdk-Date 请求的发生时间，格式为(YYYYMMDD'T'HHMMSS'Z')，取值为当前系统的GMT时间。 当使用AK/SK方式认证时，使用SDK对请求进行签名的过程中会自动填充该字段。 使用AK/SK认证时必选。
数据标准ID，ID字符串。 actived 是 Boolean 是否显示，系统默认项必然显示不允许修改。true表示使用数据标准时体现（增改查的时候可以操作该属性），false表示使用数据标准时不体现。 required 否 Boolean 是否必填。true：必填，false：非必填。 searchable
数据标准ID，ID字符串。 actived 是 Boolean 是否显示，系统默认项必然显示不允许修改。true表示使用数据标准时体现（增改查的时候可以操作该属性），false表示使用数据标准时不体现。 required 否 Boolean 是否必填。true：必填，false：非必填。 searchable
节点定义对数据执行的操作。数据开发模块提供数据集成、计算&分析、数据库操作、资源管理等类型的节点，您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式，EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接：按顺序逐个执行节点，当A节点执行完成后，再执行B节点。 并行连接：A节点和B节点同时执行。
项目ID，获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 表3 请求Body参数
MD5校验一致性 支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。 CDM迁移原理 用户使用CDM服务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
