检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时间宏变量使用解析 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持
正则表达式分隔半结构化文本 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或
时间变量宏定义具体展示 假设当前时间为“2017-10-16 09:00:00”，时间变量宏定义具体如表1所示。 表中示例实际使用时必须嵌在''中使用，比如需要以yyyy-MM-dd格式返回当前时间时，参数为'${dateformat(yyyy-MM-dd)}'。 表1 时间变量宏定义具体展示
Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 建议使用的组件版本既可以作为目的端使用，也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本，建议使用的版本： 1.2.X 3
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题： 贸易数据极简上云与统计分析
连接管理 > 新建连接”，进入选择连接类型的界面，如图1所示。 图1 选择连接器类型 连接H公司本地的Apache Hadoop HDFS文件系统时，连接类型选择“Apache HDFS”，然后单击“下一步”。 图2 创建HDFS连接 名称：用户自定义连接名称，例如“hdfs_link”。
钮进行删除。 Apache Kafka Apache Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka，其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时，相关参数如表2所示。 表2 Apache Kafka连接参数
概述 欢迎使用云数据迁移（Cloud Data Migration，以下简称CDM），该服务提供同构/异构数据源之间批量数据迁移服务，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 您可以使用本文档提供的API
获取下载的tar包，此即为FusionInsight集群Keytab文件。 具体可参见FusionInsight文档。 Apache集群 Apache HDFS Apache HBase Apache Hive Apache集群场景下，此处仅说明需要哪些配置文件与打包原则，各配置文件的具体获取方式请参见对应版本说明文档。
通过CloudTable连接，可以对CloudTable服务抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 { "links": [ { "link-config-values":
创建IAM用户并授权使用CDM 如果您需要对您所拥有的数据集成服务（CDM）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的华为云账号中，给企业中不同职能部
户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建IAM用户并使用他们进行日常管理工作。 IAM用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。 在我的凭证下，您可以查看账号ID和用
西南-贵阳一 cn-southwest-2 cdm.cn-southwest-2.myhuaweicloud.com HTTPS 父主题： 使用前必读
String 登录Manager平台的用户名，使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码，使用集群配置时不用配置 linkConfig.uri 否 String 连接Apache Hadoop时的Namenode URI地址，格式为“ip:port”
FusionInsight HD：表示连接FusionInsight HD的HDFS。 Apache Hadoop：表示连接开源Apache Hadoop的HDFS。 linkConfig.uri 否 String 连接Apache Hadoop时的Namenode URI地址，格式为“ip:port”。
如何使用表达式方式获取当前时间？ 问题描述 如何使用表达式方式获取当前时间？ 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间，更多表达式设置方式可以参考表达式转换。 父主题：
服务（CSS） Apache数据源不支持作为目的端。 仅支持本地存储，不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 Apache HBase建议使用的版本： 2.1.X 1.3.X Apache Hive暂不支持2.x版本，建议使用的版本： 1.2.X
服务（CSS） Apache数据源不支持作为目的端。 仅支持本地存储，不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 Apache HBase建议使用的版本： 2.1.X 1.3.X Apache Hive暂不支持2.x版本，建议使用的版本： 1.2.X
null, "self": "https://www.example.com/v3/projects" } } 父主题： 使用前必读
服务（CSS） Apache数据源不支持作为目的端。 仅支持本地存储，不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 Apache HBase建议使用的版本： 2.1.X 1.3.X Apache Hive暂不支持2.x版本，建议使用的版本： 1.2.X
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
