检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时间宏变量使用解析 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持
作业JSON就是创建CDM作业的请求消息体模板，URL地址中[Endpoint]、{project_id}、{cluster_id}需要替换为您实际的信息： [Endpoint]：终端节点。 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。本服务的En
objects 链接信息。 表6 ClusterLinks 参数 参数类型 描述 rel String 关系。 href String 链接地址。 请求示例 GET /v1.1/1551c7f6c808414d8e9f3c514a170f2e/datastores 响应示例 状态码：
文件格式 指CDM以哪种格式解析数据，可选择以下格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。
sls_link 日志服务endPoint 访问一个项目（Project）及其内部日志数据的URL。 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。本服务的Endpoint可从终端节点Endpoint获取。 - 项目 目标日志服务的项目名称，是日志服务中的资源管理单元，用于隔离和控制资源。
参数 是否必选 类型 说明 linkConfig.openTSDBQuorum 是 String OpenTSDB的ZooKeeper链接地址。 linkConfig.securityMode 是 String 选择安全或非安全模式。 选择安全模式时，需要输入项目ID、用户名、AK/SK。
实例类型：用户按实际业务数据量选择实例规格。 cdm.large：大规格，8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8 Gbps，集群作业并发数上限为16。 cdm.xlarge：超大规格，16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4 Gbps，集群作业并发数上限为32，适
自建的MySQL数据库），需要用户的数据源可支持Internet公网访问，并为CDM集群实例绑定弹性IP。这种方式下安全实践是：本地数据源通过防火墙或安全策略仅允许CDM弹性IP访问。 仅支持常用的数据类型，字符串、数字、日期，对象类型有限支持，如果对象过大会出现无法迁移的问题。
究、国际贸易促进等方面。 在这之前，H公司采用其自建的大数据集群，并安排专人维护，每年固定购买电信联通双线专用带宽，在机房、电力、专网、服务器、运维方面进行高额投入，但其在面对客户不断变化的业务诉求时，因为人员投入不足，大数据集群能力不匹配，而无法聚焦业务创新，使得存量100T的数据只有4%的利用率。
classpath.extra 正则表达式为： ^(\d.*\d) (\w*) \[(.*)\] (\w.*).* 解析出的结果如下： 表1 Log4J日志解析结果 列号 样值 1 2018-01-11 08:50:59,001 2 INFO 3 org.apache.sqoop
classpath.extra 正则表达式为： ^(\d.*\d) (\w*) \[(.*)\] (\w.*).* 解析出的结果如下： 表1 Log4J日志解析结果 列号 样值 1 2018-01-11 08:50:59,001 2 INFO 3 org.apache.sqoop
restartCluster 导入作业 cluster clusterImportJob 绑定弹性IP cluster bindEip 解绑弹性IP cluster unbindEip 创建连接 link createLink 修改连接 link modifyLink 测试连接 link
取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodb_link 服务节点 一个或者多个节点的地址，以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口 连接的Cassandra节点的端口号。 9042
Agent功能待下线，无需配置。 - 后端数据源 输入后端数据库的类型，当前仅支持MYSQL。 MYSQL 数据源列表 输入后端数据库的IP、端口、数据库名称、账户名、密码，以“:”隔开。即ip:port:dbs:username:password，其中username:password可以不填，此时以“用户名”、“密码”配置为准。
REPLACE：替换重复文件。 SKIP：跳过重复文件。 ABANDON：发现重复文件停止任务。 toJobConfig.compression 否 枚举 写入文件后，选择对文件的压缩格式。支持以下压缩格式： NONE：不压缩。 DEFLATE：压缩为DEFLATE格式。 GZIP：压缩为GZIP格式。 BZIP2：压缩为BZIP2格式。
d&name”。 toJobConfig.pipeLine 否 String 需要先在kibana中创建管道ID，这里才可以选择，该参数用于数据传到云搜索服务/Elasticsearch后，通过Elasticsearch的数据转换pipeline进行数据格式变换。 toJobConfig
restartCluster 导入作业 cluster clusterImportJob 绑定弹性IP cluster bindEip 解绑弹性IP cluster unbindEip 创建连接 link createLink 修改连接 link modifyLink 测试连接 link
参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 cloudtable_link ZK链接地址 可通过CloudTable服务的集群管理界面获取该参数值。 cloudtable-cdm-zk1.cloudtable.com:2181
FullAccess CDM管理员权限，拥有CDM服务所有权限。 系统策略 CDM FullAccessExceptEIPUpdating 拥有除绑定/解绑EIP外的所有CDM服务权限。 系统策略 CDM CommonOperations 拥有CDM作业和连接的操作权限。 系统策略
选择操作列中的“更多 > 重启”。 图5 重启集群 重启CDM服务进程：只重启CDM服务的进程，不会重启集群虚拟机。 重启集群VM：业务进程会中断，并重启集群的虚拟机。 选择“重启集群VM”后单击“确定”。 父主题： 创建并管理CDM集群
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
