检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
只迁移与输入对象名称或名称前缀一致的对象。 须知: 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀 多个前缀之间用英文逗号分隔。 并发子任务数 - 用户自定义。配
只迁移与输入对象名称或名称前缀一致的对象。 须知: 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀 多个前缀之间用英文逗号分隔。 并发子任务数 - 用户自定义。配
任务执行期间重启Edge,以避免任务失败。 添加凭证 在迁移工具Edge上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。
3url.txt)上传至文件夹。 拖拽URL列表文件至“上传对象”区域框内,单击“上传”。 单击“上传对象”区域框内的“添加文件”,选择URL列表文件进行添加,单击“上传”。 步骤三:创建存储迁移工作流 登录迁移中心管理控制台。 在左侧导航栏选择“实施>迁移工作流”,进入迁移工作
方案名称 用户自定义。 描述(可选) 用户自定义。 目的端文件存储区域 选择目的端文件存储所在区域。 单击“添加文件存储”按钮,在下方的列表中会新增一行源端文件存储配置信息。 图1 添加源端文件存储 根据表2,配置源端文件存储信息。 表2 源端文件存储参数配置说明 参数 说明 须知 存储类型
右侧弹出集群详细信息页面。在这个页面上,您可以进行如下操作: 设置流量控制规则:您可以添加、编辑或删除流量控制规则,以确保集群内的流量按照您的需求进行管理。 节点管理:您可以根据实际需求,添加/删除迁移节点和列举节点,也可以对现有节点进行插件升级。 父主题: 存储迁移相关最佳实践
false:不查询DLI表的分区,空分区或者分区不存在效验状态都为成功 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执
连接名称 默认创建名称为“Doris-4位随机数(字母和数字)”,也可以自定义名称。 Doris凭证 选择在Edge添加的目的端Doris凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-Doris”。 数据库地址 填写目的端Doris集群部署的服务器IP地址。 可登录FusionInsight
连接名称 默认创建名称为“Doris-4位随机数(字母和数字)”,也可以自定义名称。 Doris凭证 选择在Edge添加的源端Doris凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-Doris”。 数据库地址 填写连接到源端Doris集群部署的服务器IP地址。 数据库端口
母和数字)”,也可以自定义名称。 迁移工具 选择在源端环境中部署的迁移工具Edge。 Doris凭证 选择在Edge添加的Doris凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-Doris”。 数据库地址 填写连接到Doris集群部署的服务器IP地址。 数据库端口 填
即可看到“存储账户名称”和“密钥”。 在“key1”下单击密钥后的“显示”按钮,即可显示访问密钥,并出现复制按钮。 分别复制“存储账户名称”和“密钥”,添加到Edge凭证管理中。添加方法请参考添加资源凭证。认证方式选择“AK/SK”。AK对应存储账户名称,SK对应密钥。 父主题: 资源采集
法修改。 Linux主机默认22端口,可根据实际情况修改。 凭证 选择主机凭证。 如果已提前添加主机凭证,在下拉列表中选择该主机凭证。 如果未提前添加主机凭证,单击“创建凭证”,参考添加资源凭证中的Windows主机/Linux主机认证方式说明创建主机凭证。创建完成后,在下拉列表中选择该主机凭证。
已在源端内网环境安装Edge工具,并与迁移中心连接。 已在Edge上添加源端主机凭证。为确保采集过程具备充分的系统访问权限,主机凭证要求如下: Linux主机,请添加Root账号和密码作为采集凭证。 Windows主机,请添加Administrator账号和密码作为采集凭证。 操作步骤 登录迁移中心管理控制台。
连接。 已在Edge上添加源端主机凭证。 为确保采集过程具备充分的系统访问权限,从而能够获取到必要的信息和数据。对主机深度采集的凭证要求如下: 对Linux主机进行深度采集时,请添加Root账号和密码作为采集凭证。 对Windows主机进行深度采集时,请添加Administrator账号和密码作为采集凭证。
默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 ClickHouse凭证 选择在Edge添加的源端阿里云云数据库ClickHouse凭证。凭证的添加方法请参考添加资源凭证中的大数据-ClickHouse。 数据库链接 填写连接源端ClickHouse集群的外网地址。可以在集群信息页面,查看外网地址。
连接。 已在Edge上添加源端主机凭证。 为确保采集过程具备充分的系统访问权限,从而能够获取到必要的信息和数据。对主机深度采集的凭证要求如下: 对Linux主机进行深度采集时,请添加Root账号和密码作为采集凭证。 对Windows主机进行深度采集时,请添加Administrator账号和密码作为采集凭证。
K/SK并添加权限。 登录阿里云RAM控制台。 在左侧导航栏,选择身份管理 > 用户。 在用户页面,单击用户名称,进入用户详情页面。 在用户 AccessKey区域,单击“创建 AccessKey”,生成AccessKey ID和AccessKey Secret。 添加权限。 在
生影响。 安装完成并注册用户后,将Edge与迁移中心进行连接,方法请参考连接迁移中心。 连接成功后,需要在Edge上添加源端待迁移主机凭证,凭证的添加方法请参考添加资源凭证。资源类型请根据实际情况选择“Windows主机”或“Linux主机”。 父主题: 阿里云主机迁移至华为云
保留SMS迁移任务 如果需要在主机工作流迁移完成后保留SMS迁移任务,需要手动在“迁移任务清理”步骤前添加一个卡点步骤,如图5所示。添加卡点步骤的方法和注意事项请参见添加阶段/步骤。 图5 添加卡点步骤 当工作流执行到该卡点步骤时,不要进行手动确认操作,如图6所示。此时SMS控制台上的迁
安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge与迁移中心进行连接,方法请参考连接迁移中心。 Edge与迁移中心连接成功后,添加大数据相关凭证,方法请参考添加资源凭证。 父主题: 大数据血缘