检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“数据连接”页面，单击“创建数据连接”按钮。 图2 数据连接 在弹出窗口中，配置数据连接参数，完成配置后，单击“确定”完成数据连接的创建。 此处创建MapReduce服务 （MRS Hive）数据连接，参数配置如图3所示。 数据连接类型：MapReduce服务（MRS Hive）。
已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。 安装openssl库。 apt-get install libssl-dev 安装curl库。 apt-get install libcurl4-openssl-dev 获取SDK 登录DataArts
连接器类型选择“云搜索服务”后单击“下一步”，配置云搜索服务连接参数。 名称：用户自定义连接名称，例如“csslink”。 Elasticsearch服务器列表：配置为云搜索服务集群（支持5.X以上版本）的连接地址、端口，格式为“ip:port”，多个地址之间使用分号（；）分隔，例如192.168
在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支持配置为时间宏变量，例如起始时间配置为{"ts":{$gte:ISODate("${dateformat(yyyy-MM-dd'T'HH:mm:ss
已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。 安装openssl库。 apt-get install libssl-dev 安装curl库。 apt-get install libcurl4-openssl-dev 获取SDK 登录DataArts
条件分支算子和表达式的配置方法，详见配置条件分支算子。 并行处理 非必选 并行处理算子可以同时执行多个分支逻辑，分支间互不影响。 并行处理算子的配置方法，详见配置并行处理算子。 输出处理 必选 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换，以确定最终返回的数据格式。
详情属性中文，只读。 attr DimensionAttributeVO object 引用属性字段，只读。 detail_attrs Array of DimensionAttributeVO objects 详情字段，只读。 表23 DimensionAttributeVO 参数 参数类型
此文件，升级pip，然后再执行以上命令安装。 获取并安装IntelliJ IDEA，如果未安装，请至IntelliJ IDEA官方网站下载。 已在IntelliJ IDEA中安装Python插件，如果未安装，请按照图1所示安装。 图1 安装Python插件 获取SDK 登录DataArts
在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支持配置为时间宏变量，例如起始时间配置为{"ts":{$gte:ISODate("${dateformat(yyyy-MM-dd'T'HH:mm:ss
Map<String,String> 连接的配置项，不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数，其他类型的连接请参考连接配置项说明。 description 否 String 描述，长度不能超过255个字符。 表4 DWS类型的连接配置项说明 参数名 是否必选 参数类型
在“通知管理”页签，单击“通知配置”，弹出“通知配置”页面，配置如表1所示的参数。 图1 通知配置 表1 通知参数 参数 是否必选 说明 作业范围 是 选择通知的范围： 单个作业：对单个作业发送通知。 所有作业：对所有作业发送通知。所有作业指当前已有的作业和后续新创建的作业会使用这个通知配置。 作业名称
proxyuser.数据连接上配置的用户名.hosts * 图3 配置core.site.customized.configs参数示例 参数均配置完成后，单击左上角的“保存”，在弹窗中单击“确定”保存配置。 图4 保存配置 保存成功后，切换到实例页签，选择配置已过期的实例后，单击“更多
指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 单次提交行数 可选参数，单击“显示高级属性”后显示。 指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 - 连接属性
自动重试重复写入数据导致数据不一致。 如果调度CDM迁移作业时使用了参数传递，不能在CDM迁移作业中配置“作业失败重试”参数，推荐在此处配置即可。 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 当前节点失败后，后续节点处理策略 是 节点执行失败后的操作：
linkConfig.user 否 String 登录Manager平台的用户名，使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码，使用集群配置时不用配置 linkConfig.authType 否 枚举 认证类型，分为以下两种：
详情属性中文，只读。 attr DimensionAttributeVO object 引用属性字段，只读。 detail_attrs Array of DimensionAttributeVO objects 详情字段，只读。 表23 DimensionAttributeVO 参数 参数类型
路径和表名的时间宏变量 如图1所示，如果将： 源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换，这个作业表示：将Oracle数据库的“SQOOP.CD
路径和表名的时间宏变量 如图1所示，如果将： 源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换，这个作业表示：将Oracle数据库的“SQOOP.CD
行。 说明： 配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 作业委托 当“作业调度身份是否可配置”设置为“是”，该参数可见。 配置委托后，作业执行过程中，以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级，此处支持修改。
据库所在网络环境，选择合适的同步解决方案来实现数据源与资源组的网络连通。在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：配置实时网络连接。 数据同步场景 实时同步支持单表实时增量数据同步至目标端单表
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
