检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SKIP：跳过重复文件。 ABANDON：发现重复文件停止任务。 toJobConfig.compression 否 枚举 写入文件后，选择对文件的压缩格式。支持以下压缩格式： NONE：不压缩。 DEFLATE：压缩为DEFLATE格式。 GZIP：压缩为GZIP格式。
IP或域名 是 “手动”选择为“连接串模式”时需要配置本参数。 “IP或域名”如果手动填写，必须写内网IP，端口必须为对资源组网段放开的端口（如需设置请参见设置安全组规则），否则可能导致网络连接不通。 表示通过内部网络访问集群数据库的访问地址，可填写为IP或域名。
集群配置文件的OBS存放路径。 keytab文件路径 是 认证类型为KERBEROS时显示该参数。 配置keytab文件的OBS存放路径。 Principal名称 是 认证类型为KERBEROS时显示该参数。 Kerberos认证用户名。
选择CLICKHOUSE_0_4_2驱动版本时，字段名不能包含()，其他版本不受限制。 引用符号 否 连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。默认为"。 单次提交行数 否 指定单次批量提交的行数。默认为10000。
开启GZIP压缩 否 开启gzip 压缩，使用的时候需要在es 节点上将配置http.compression设置为true。 数据源认证及其他功能配置 用户名 是 连接Elasticsearch的用户名。 密码 是 连接Elasticsearch的密码。
URI URI格式 GET /v1/{project_id}/scripts/{script_name}/instances/{instance_id} 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号，获取方法请参见项目
创建并管理CDM集群 创建CDM集群 解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标 父主题： 数据集成
使用APP认证调用API 认证前准备 Java Go Python C# JavaScript PHP C++ C Android curl 其他编程语言 父主题： 数据服务SDK参考
例如：thrift://host-192-168-1-212:9083 IP与主机名映射 否 使用集群配置为否时，是必选项。 如果Hadoop配置文件使用主机名，需要配置IP与主机的映射。格式：IP与主机名之间使用空格分隔，多对映射使用分号或回车换行分隔。
支持的压缩格式有GZIP，ZIP及TAR.GZ。 GZIP 压缩文件后缀 压缩格式为GZIP，ZIP或TAR.GZ时支持此参数。 需要解压缩的文件的后缀名。 当一批文件中以该值为后缀时，才会执行解压缩操作，否则就保持原样传输。当输入"*"时或输入为空时，所有文件都会被解压。
作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 （可选）管理作业
基础与网络连通配置 IP或域名 是 待连接的数据库的访问地址，可填写为IP或域名，其中公网IP和内网IP地址均支持。 端口 是 待连接的数据库端口。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。
集群配置文件的OBS存放路径。 keytab文件路径 是 认证类型为KERBEROS时显示该参数。 配置keytab文件的OBS存放路径。 Principal名称 是 认证类型为KERBEROS时显示该参数。 Kerberos认证用户名。
基础与网络连通配置 主机名或IP 是 服务器的IP地址或者主机名。 例如：sftp.apache.org或192.168.0.1。 端口 是 主机的SSH端口号。 数据传输超时时间 是 数据传输过程中连接服务器超时时间，单位毫秒。 默认值为：600000。
基础与网络连通配置 IP或域名 是 关系型数据库数据源的访问地址，可填写为IP或域名。 如果为RDS或GaussDB等云上数据源，可以通过管理控制台获取访问地址： 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称，进入实例基本信息页面。
pipeline_id 开启路由 开启路由后，支持指定某一列的值作为路由写入Elasticsearch。 说明： 开启路由前建议先建好目的端索引，可提高查询效率。 否 路由字段 “开启路由”参数选择为“是”时配置，用于配置目的端路由字段。
使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小，用于后续校验。 分批配置迁移任务，保证迁移进度与速度。 校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。
车联网大数据零丢失搬迁入湖 车联网大数搬迁入湖简介场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
基础与网络连通配置 IP或域名 是 GBASE数据源的访问地址，可填写为IP或域名。 端口 是 关系型数据库数据源的访问端口。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。
CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MySQL。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
