检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
com/v3/auth/tokens 请求消息头 附加请求头字段，如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”，请求鉴权信息等。 需要添加到请求中的公共消息头如表3所示。 表3 公共请求消息头 名称 描述 是否必选 示例 Content-type 消息体的类型（
响应Body参数 参数 参数类型 描述 submissions Array of StartJobSubmission objects 作业运行信息，请参见submission参数说明。 表5 StartJobSubmission 参数 参数类型 描述 isIncrementing Boolean
系MRS定位。Yarn Application ID可以从日志中获取，日志搜索“Yarn Application Id”关键字，查询离报错信息最近的Yarn Application ID即可。 自主排查方式 登录yarn，根据applicationId查询到yarn任务，打开ApplicationManager。
源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索（DLI） 支持分区表的分区信息分片。 不支持非分区表分片。 Hadoop MRS HDFS 支持按文件分片。 MRS HBase 支持按HBase的Region分片。 MRS
图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域？ 选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议就近选择靠近您或者您的目标用户的区
输入“\t”。 , 高级参数 使用配置文件 “数据格式”选择为“CDC场景”时配置，用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。 /obs/config.csv 最大消息数/poll
NoSQL：表格存储服务（CloudTable） 搜索：Elasticsearch，云搜索服务（CSS） Elasticsearch仅支持非安全模式。 云搜索服务（CSS） 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。
NoSQL：表格存储服务（CloudTable） 搜索：Elasticsearch，云搜索服务（CSS） Elasticsearch仅支持非安全模式。 云搜索服务（CSS） 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。
作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。 父主题： 进阶实践
表。如果“表名”参数配置的表已存在，则不创建，数据写入到已存在的表中。 说明： Hbase自动建表包含列族与协处理器Coprocessor信息。其他属性按默认值设置，不跟随源端。 不自动创建 Row key拼接分隔符 可选参数，用于多列合并作为rowkey，默认为空格。 , Rowkey冗余
objects 版本信息列表。 表4 CdmClusterDatastoreVersion 参数 参数类型 描述 id String 版本ID。 name String 版本名称。 flavors Array of CdmClusterFlavor objects 规格信息。 表5 CdmClusterFlavor
开启路由前建议先建好目的端索引，可提高查询效率。 否 路由字段 “开启路由”参数选择为“是”时配置，用于配置目的端路由字段。目的端索引存在但是获取不到字段信息时，支持手动填写字段。路由字段允许为空，为空时写入Elasticsearch不指定routing值。 value1 定时创索引 对于持续写
常量参数即参数值是固定的参数，不需要重新配置值。例如“lable”=“friends”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法：${variable}，其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。
文中提供的性能指标仅用于参考，实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前，可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格，2.9.1 200版本。 性能测试中，表数据规格为5000W行100列，HDFS二进制文件数据规格分别为3
NoSQL：表格存储服务（CloudTable） 搜索：Elasticsearch，云搜索服务（CSS） Elasticsearch仅支持非安全模式。 云搜索服务（CSS） 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。
NoSQL：表格存储服务（CloudTable） 搜索：Elasticsearch，云搜索服务（CSS） Elasticsearch仅支持非安全模式。 云搜索服务（CSS） 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。
在集群管理界面，找到步骤1：创建集群章节创建的集群“cdm-aff1”。 单击该CDM集群后的“作业管理”，进入作业管理界面。 选择“表/文件迁移 > 新建作业”，配置作业基本信息。 图1 新建作业 作业名称：输入便于记忆、区分的作业名称，例如：“mysql2dws”。 源端作业配置 源连接名称：选择步骤2：创建连接
当源端为Kafka时，如果DLI导入前清空数据，则不支持INSERT_OVERWRITE。 TRUNCATE 分区 “导入前清空数据”设置为“是”时，呈现此参数。 填写分区信息后，表示清空该分区的数据。 year=2020,location=sun 新增dli-trans*内部临时桶授权策略 登录统一身份认证服务IAM控制台。
作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。 父主题： 关键操作指导
Server 搜索：Elasticsearch 公测中：表格存储服务（CloudTable），云搜索服务（CSS） Elasticsearch仅支持非安全模式。 公测中 表格存储服务（CloudTable HBase） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
