检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云数据迁移安全结论 访问控制 只有华为云统一身份认证服务(Identity and Access Management,简称IAM)授权的用户才能访问CDM控制台和API。推拉模式下,CDM在VPC上没有开放侦听端口,用户无法从VPC访问实例,具有高度的安全性。 数据传输安全 C
] } 图2 配置obs_dli-trans自定义策略 单击“确定”,完成obs_dli-trans自定义策略创建。 在IAM左侧导航窗格中,选择“用户组”,找到DLI连接中使用AK/SK所在用户的归属用户组,单击授权,将obs_dli-trans自定义策略授权给该用户。 图3
concurrentSubJobs] 不存在怎么办”? 问题描述 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”。 原因分析
数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM相关操作,与CDM迁移近一个月的数据相同,都是使用二进制直接传输文件目录,2个集群并发执行作业。 注意事项 当迁
Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时,此参数是必选项。请注意,此处AK/SK对应的账号应具备OBS Buckets Viewer系统权限,否则会无法访问OBS并报“403
贸易数据上云场景介绍 使用云数据迁移(Cloud Data Migration,简称CDM)将本地贸易统计数据导入到OBS,再使用数据湖探索(Data Lake Insight,简称DLI)进行贸易统计分析,帮助H咨询公司以极简、极低成本构建其大数据分析平台,使得该公司更好地聚焦业务,持续创新。
其中MONTH(月),YEAR(年)的偏移量类型存在特殊场景: 对于年、月来说,若进行偏移后实际没有该日期,则按照日历取该月最大的日期。 不支持在源端和目的端的“时间过滤”参数中的起始时间、终止时间使用年、月的偏移。 例如当前日期为"2023-03-01 09:00:00",则:
其中MONTH(月),YEAR(年)的偏移量类型存在特殊场景: 对于年、月来说,若进行偏移后实际没有该日期,则按照日历取该月最大的日期。 不支持在源端和目的端的“时间过滤”参数中的起始时间、终止时间使用年、月的偏移。 例如当前日期为"2023-03-01 09:00:00",则:
通过IAM,您可以在云账号中给员工创建IAM用户,并使用策略来控制其对云资源的访问范围。例如您的员工拥有CDM的使用权限,但是不希望其拥有删除CDM集群等高危操作的权限,那么您可以使用IAM为员工创建IAM用户,通过授予仅能使用CDM服务,但是不允许删除CDM集群的权限策略,实现控制其对CDM的使用范围。 如果云账
如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。 CDM集群创建完成后,在集群管理界面选择“绑定弹性IP”,CDM通过EIP访问Oracle数据源。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建云搜索服务连接 单击CDM
如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。 CDM集群创建完成后,在集群管理界面选择“绑定弹性IP”,CDM通过EIP访问Oracle数据源。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建云搜索服务连接 单击CDM
创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? 问题描述 创建了Hive到DWS类型的连接,进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据,然后再做迁移,可大大降低任务失败的概率。 父主题:
连接Oracle数据库时,具体参数请参见Oracle数据库连接参数说明。 分库 连接达梦数据库时,具体参数请参见分库连接参数说明。 对象存储服务(OBS) 连接OBS时,具体参数请参见OBS连接参数说明。 MRS HDFS FusionInsight HDFS Apache HDFS 连接MRS、Apache
SQL一致。 如果安全控制原因不能使用相同子网和安全组,则可以修改安全组规则,允许CDM访问RDS。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问本地MySQL数据库。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
获取集群列表为空/没有权限访问/操作时报当前策略不允许执行? 问题描述 在使用CDM时,可能遇到如下权限相关的问题: 跳转到CDM首页,获取到的集群列表为空。 提示没有权限访问,如图1所示。 执行启动作业/重启集群等操作时,报错当前策略不允许执行,如图2所示。 图1 没有权限访问 图2 不允许创建连接
SQL一致。 如果安全控制原因不能使用相同子网和安全组,则可以修改安全组规则,允许CDM访问RDS。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问本地MySQL数据库。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
脏数据当前仅支持写入到OBS桶路径中。因此仅当已具备OBS连接时,此参数才可以配置。 是 脏数据写入连接 当“是否写入脏数据”为“是”才显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 obs_link OBS桶 当“脏数据写入连接”为OBS类型的连接时,才显示该参数。
Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 您可以通过如下方式获取访问密钥。 登录
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输
String 访问标识(AK)。obs支持选是时需配置此参数。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 linkConfig.securityKey 否 String 密钥(SK)。obs支持选是时需配置此参数。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。