检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DLI目的端参数 作业中目的连接为DLI连接时，即将数据导入到数据湖探索服务（DLI）时，目的端作业参数如表1所示。 使用CDM服务迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予DLI连接中使用AK/SK所在用户对dli-tr
“自动创建”设置为“不自动创建”时，无该此参数。 表路径。 - 存储格式 “自动创建”设置为“不自动创建”时，无该此参数。 选择存储格式。 行式存储格式：TEXTFILE。 列式存储格式：ORC、RCFILE、PARQUET。 TEXTFILE使用明文存储，当数据存在特殊字符的场景下可能会导致数据写
分析数据 通过DLI直接对OBS数据进行贸易统计分析。 前提条件 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE
可以帮助您安全的控制华为云资源的访问。关于IAM的详细介绍，请参见IAM产品介绍。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关
图5 创建OBS连接 单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”，开始创建从OBS迁移数据到DLI的任务，如图6所示。 图6 创建OBS到DLI的迁移任务 作业名称：用户自定义作业名称。 源连接名称：选择创建OBS连接中的“obslink”。
指标含义 取值范围 测量对象 监控周期（原始指标） bytes_in 网络流入速率 该指标用于统计每秒流入测量对象的网络流量。 单位：字节/秒。 ≥ 0 bytes/s CDM集群实例 1分钟 bytes_out 网络流出速率 该指标用于统计每秒流出测量对象的网络流量。 单位：字节/秒。
CDM可以通过批量导入的功能，实现批量创建作业，方法如下： 手动创建一个作业。 导出作业，将作业的JSON文件保存到本地。 编辑JSON文件，参考该作业的配置，在JSON文件中批量复制出更多作业。 将JSON文件导入CDM集群，实现批量创建作业。 您也可以参考通过CDM算子批量创建分表迁移作业，配合For
例的隔离，提升CDM实例的安全性。 数据加密 用户数据源的访问信息（用户名和密码）存储在CDM实例的数据库中，并采用AES-256加密，CDM管理员无法访问。 数据删除 用户删除CDM实例时，存储在实例中的数据都会被删除，任何人都无法查看及恢复数据。
源连接名称：选择创建OBS连接中的“obslink”。 桶名：待迁移数据的桶。 源目录或文件：待迁移数据的路径，也可以迁移桶下的所有目录、文件。 文件格式：迁移文件到数据表时，文件格式选择“CSV格式”。 高级属性里的可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称：选择创建云搜索服务连接中的“csslink”。
源连接名称：选择创建OBS连接中的“obslink”。 桶名：待迁移数据的桶。 源目录或文件：待迁移数据的路径，也可以迁移桶下的所有目录、文件。 文件格式：迁移文件到数据表时，文件格式选择“CSV格式”。 高级属性里的可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称：选择创建云搜索服务连接中的“csslink”。
式变换。 目的端为Elasticsearch时需要先在kibana中创建管道ID。 目的端为CSS时不需要创建管道ID，此参数填写配置文件名称，默认为name。 目的端为Elasticsearch时：pipeline_id 目的端为CSS时：name（name为配置文件名称） 开启路由
指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输
写入到临时文件 二进制迁移文件时候，可以在目的端指定是否写入到临时文件。如果指定了该参数，在文件复制过程中，会将文件先写入到一个临时文件中，迁移成功后，再进行rename或move操作，在目的端恢复文件。 生成文件MD5值 对每个传输的文件都生成一个MD5值，并将该值记录在一个新文件中，新文件以“
指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输
修改集群配置 查看监控指标 已发布区域：全部 创建连接 CDM有两种迁移方式，支持的数据源有所不同： 表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。 整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。
文件增量迁移 CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量
写入到临时文件 二进制迁移文件时候，可以在目的端指定是否写入到临时文件。如果指定了该参数，在文件复制过程中，会将文件先写入到一个临时文件中，迁移成功后，再进行rename或move操作，在目的端恢复文件。 生成文件MD5值 对每个传输的文件都生成一个MD5值，并将该值记录在一个新文件中，新文件以“
义策略。自定义策略中可以添加的授权项（Action）请参考策略和授权项。 目前华为云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略
OBS连接参数说明 OBS连接目的端OBS桶需添加读写权限，并在连接时不需要认证文件。 CDM集群和OBS桶不在同一个Region时，不支持跨Region访问OBS桶。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接OBS时，相关连接参数如表1所示。
理。 对象存储服务（OBS）数据源约束 迁移文件时系统会自动并发，任务配置中的“抽取并发数”无效。 不支持断点续传。CDM传文件失败会产生OBS碎片，需要用户到OBS控制台清理碎片文件避免空间占用。 不支持对象多版本的迁移。 增量迁移时，单个作业的源端目录下的文件数量或对象数量，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
