检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi(无元数据)连接 MaxCompute连接 阿里云云数据库ClickHouse连接 您还可以通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建元数据连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘
MB。在这种情况下,脚本可能因为内存不足而中断。解决方法如下: 登录华为云SMS管理控制台,在“迁移Agent”页面下载Windows Agent(Python2)版本的安装包到源端主机。 安装并运行Agent,输入华为云账户的AK、SK,以及SMS域名启动Agent。方法请参考安装Windows版的SMS-Agent。
取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 创建应用迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统。 父主题: SFS1.0迁移至SFS
集群详细信息页面。 在流量控制区域,单击“添加”,下方新增一条规则记录。 在“开始时间”、“结束时间”和“限速”文本框中输入数值。 例如:设置开始时间08:00、结束时间12:00、限制最大流量20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20
集群详细信息页面。 在流量控制区域,单击“添加”,下方新增一条规则记录。 在“开始时间”、“结束时间”和“限速”文本框中输入数值。 例如:设置开始时间08:00、结束时间12:00、限制最大流量20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20
门户中单击“存储账户”,选择待迁移的存储账户。 在“安全性和网络”下,选择“共享访问签名” , 设置页面部分必要参数,参见表1 设置参数。其余参数请根据需求配置。 表1 设置参数 参数 设置 允许的服务 选择至少包含:Blob。 允许的资源类型 选择至少包含:容器和对象。 允许的权限
K/SK)。获取方法请参考准备工作。 创建应用迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建集群 为本次迁移创建独立的迁移集群,方法请参见创建集群。 创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统。
iscovery-nginx\output\file\app-discovery-nginx-xxx.csv max_rewrite 否 设置rewrite最大的跳转次数,1≤取值范围≤20,取整数。 filedir 是 填写nginx.conf文件所在文件夹路径。 父主题: 采集器参数配置说明
log。 如果非以上两种原因,请排查MgC Agent是否被多个用户同时用于采集,导致MgC Agent侧的WinRM服务与源端断开。 解决方法 源端为Linux主机 在安装MgC Agent的主机,打开命令行窗口,使用ping命令测试与源端主机的公网IP是否连通;使用telnet
各云平台的AK/SK获取方法请参考如何获取云平台凭证。 配置文件 适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥 适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。
各云平台的AK/SK获取方法请参考如何获取云平台凭证。 配置文件 适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥 适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。
throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法 请联系DLI服务技术支持人员,调整流控上限。 父主题: 大数据数据迁移
Agent时,提示“安装端口被占用,请先关闭占用进程再重试”。 问题分析 出现该问题,是因为安装MgC Agent的默认端口27080被占用。 解决方法 将占用27080端口的应用进程停用。 在将应用进程停用前,请自行评估风险并承担相应后果。 Linux主机: 输入如下命令,查询占用端口的应用ID。
如何启用 WinRM 服务 以管理员权限启动PowerShell。 执行如下命令,即可自动启动 WinRM 服务并配置其远程访问设置。 Enable-PSRemoting -Force 父主题: 常见问题
在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”作为采集凭证,本节介绍获取Azure“存储账户”和“密钥”的方法。 登录 Azure 门户中转到存储账户。 在左侧导航栏选择“安全性和网络 > 访问密钥” ,即可看到“存储账户名称”和“密钥”。 在“k
分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具Edge。大数据校验场景仅支持Linux版本的Edge,安装方法请参考下载并安装Linux版本Edge。安装成功后
实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备MgC Agent(原Edge) 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的MgC Agent。大数据校验场景仅支持Linux版本的MgC Agent,安装方法请参考下载并安装Linux版本MgC
应用名称 选择待迁移资源所关联的应用。 迁移设置 区域 选择待迁移可用区所在Region,与创建的应用配置保持一致。 目的可用区 选择要迁移到目的端可用区,与创建的应用配置保持一致。 网络设置 当前只支持“保留源端配置”。 目的虚拟机创建策略 立即创建 工作流立即开始进行源端备份
应用名称 选择待迁移资源所关联的应用。 迁移设置 区域 选择待迁移可用区所在Region,与创建的应用配置保持一致。 目的可用区 选择要迁移到目的端可用区,与创建的应用配置保持一致。 网络设置 当前只支持“保留源端配置”。 目的虚拟机创建策略 立即创建 工作流立即开始进行源端备份
选择目的端。 连接名称 默认创建名称为“DLI-4位随机数(字母和数字)”,也可以自定义名称。 DLI凭证 选择DLI云服务的凭证。凭证的添加方法请参考添加资源凭证中的大数据-DLI。如果所选凭证与登录迁移中心账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。