检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
右侧弹出集群详细信息页面。在这个页面上,您可以进行如下操作: 设置流量控制规则:您可以添加、编辑或删除流量控制规则,以确保集群内的流量按照您的需求进行管理。 节点管理:您可以根据实际需求,添加/删除迁移节点和列举节点,也可以对现有节点进行插件升级。 在基础信息区域,单击展开“高级
即按数据库进行筛选,在数据库参数框中输入需要增量迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。 按表筛选 下载CSV格式的模板。
选择源端对应的凭证,如未提前添加凭证,请单击“新建凭证”,填写相应参数,校验并保存凭证。 阿里云、华为云、AWS、腾讯云、七牛云、金山云认证方式请选择“AK/SK”,并输入源端账号的AK/SK。 Azure认证方式请选择“ID/密钥”。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。
ge上添加源端资源凭证,请前往Edge控制台添加,并同步至迁移中心。 在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”作为采集凭证,凭证的获取方法请参见如何获取Azure对象存储深度采集所需凭证。 配置完成后,单击操作列的“添加前缀”,弹出添加前缀窗口。
只迁移与输入对象名称或名称前缀一致的对象。 须知: 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀 多个前缀之间用英文逗号分隔。 并发子任务数 - 用户自定义。配
只迁移与输入对象名称或名称前缀一致的对象。 须知: 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀 多个前缀之间用英文逗号分隔。 并发子任务数 - 用户自定义。配
任务执行期间重启Edge,以避免任务失败。 添加凭证 在迁移工具Edge上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。
在工作流详细里面文件统计 – 失败列表文件路径 中也会展示。 失败对象列表为json格式,每一条代表是一个对象,其中content_handle_result记录了失败原因,如下图: 表1 content_handle_result错误码 失败对象列表错误码(Content_handle_result)
只迁移与输入对象名称或名称前缀一致的对象。 须知: 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀 多个前缀之间用英文逗号分隔。 并发子任务数 - 用户自定义。配
模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100 MB。 选择血缘模板。 单击“模板下载”,将血缘模板下载到本地。
牛云和金山云等云平台凭证。 配置文件适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 私有云 用户名/密码
模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100 MB。 选择血缘模板。 单击“模板下载”,将血缘模板下载到本地。
方案名称 用户自定义。 描述(可选) 用户自定义。 目的端文件存储区域 选择目的端文件存储所在区域。 单击“添加文件存储”按钮,在下方的列表中会新增一行源端文件存储配置信息。 图1 添加源端文件存储 根据表2,配置源端文件存储信息。 表2 源端文件存储参数配置说明 参数 说明 须知 存储类型
方案名称 用户自定义。 描述(可选) 用户自定义。 目的端文件存储区域 选择目的端文件存储所在区域。 单击“添加文件存储”按钮,在下方的列表中会新增一行源端文件存储配置信息。 图1 添加源端文件存储 根据表2,配置源端文件存储信息。 表2 源端文件存储参数配置说明 参数 说明 须知 存储类型
3url.txt)上传至文件夹。 拖拽URL列表文件至“上传对象”区域框内,单击“上传”。 单击“上传对象”区域框内的“添加文件”,选择URL列表文件进行添加,单击“上传”。 步骤三:创建存储迁移工作流 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时所创建的应用迁移项目。
只迁移与输入对象名称或名称前缀一致的对象。 须知: 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀 多个前缀之间用英文逗号分隔。 并发子任务数 - 用户自定义。配
false:不查询DLI表的分区,空分区或者分区不存在校验状态都为成功 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执
只迁移与输入对象名称或名称前缀一致的对象。 须知: 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀 多个前缀之间用英文逗号分隔。 并发子任务数 - 用户自定义。配
连接名称 默认创建名称为“Doris-4位随机数(字母和数字)”,也可以自定义名称。 Doris凭证 选择在Edge添加的目的端Doris凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-Doris”。 数据库地址 填写目的端Doris集群部署的服务器IP地址。 可登录FusionInsight
false:不查询DLI表的分区,空分区或者分区不存在校验状态都为成功 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执