检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具有IAM权限”。 问题分析 出现该提示可能是因为登录账号未授予“IAM ReadOnly”权限。 解决方法 为您的账号授予“IAM ReadOnly”权限,具体的操作方法请参见给IAM用户授权。 父主题: 产品咨询
“确认”按钮。支持添加多个步骤。 迁移阶段中的步骤添加完成后,单击“确认”按钮,完成迁移阶段的添加。 只有自行添加的阶段,可以进行修改、删除操作,模板中的迁移阶段无法进行修改和删除。 添加步骤 在迁移工作流详情页面,将鼠标移动到步骤名称上,选择添加前置步骤/添加后置步骤,弹出添加步骤窗口。
“确认”按钮。支持添加多个步骤。 迁移阶段中的步骤添加完成后,单击“确认”按钮,完成迁移阶段的添加。 只有自行添加的阶段,可以进行修改、删除操作,模板中的迁移阶段无法进行修改和删除。 添加步骤 在迁移工作流详情页面,将鼠标移动到步骤名称上,选择添加前置步骤/添加后置步骤,弹出添加步骤窗口。
登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击任务框中的“导入>工具采集结果”,弹出导入工具采集结果窗口。 图1 导入工具采集结果 单击导入窗口的“添加文件”,将工具采集结果的json文件上传至迁移中心。
Windows版本 打开MgC Agent所在主机的“任务管理器”。 选择“服务”页签,找到名为“Edge_Tomcat ”的服务,鼠标右键,单击“开始”,即可手动启动MgC Agent进程。 Linux版本 执行如下命令,进入MgC Agent安装目录中的scripts目录。 cd /opt
s-netstat\config\nodes.csv。 如果使用自定义的配置文件,请参考默认配置文件(nodes.csv)创建新的csv文件。该参数填写新建的csv文件存放路径。 须知: 建议使用采集器提供的默认节点接入配置文件进行采集,如果需要自定义配置文件,请参考默认配置文件(nodes
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法 请联系DLI服务技术支持人员,调整流控上限。
为什么存储迁移工作流进度长时间没有变化? 问题分析 出现迁移进度长时间未更新的情况通常是因为以下几个原因: 子任务处理:迁移工作流会自动将大型任务拆分为多个子任务来执行。只有当这些子任务完成后,系统才会更新显示的进度。 大对象迁移:如果子任务中包含了大型文件或对象,可能需要较长时间来迁移。
(可选)清理集群 当您完成数据迁移并且集群不再需要时,可以直接删除闲置的集群以释放资源。 在左侧导航栏选择“资源准备>迁移集群”,进入迁移集群页面。 在集群列表,选择需要清理的集群,单击操作列的“更多 > 删除”,弹出删除集群窗口。 选择是否同步删除关联资源后,单击“确认”,删除集群。
nfig\kube-config\xxx.yaml 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。
工作流包含的每台主机的迁移进度详情。 当主机迁移进度进行到“全量复制”和“增量同步”步骤时,如图1所示,单击任务详情(即目的端名称),可以直接跳转到SMS控制台的对应迁移任务详情页面,查看迁移进度。 图1 主机迁移阶段 直接前往主机迁移服务 SMS控制台,查看每台主机的迁移进度详情。
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql
Agent(原Edge)无法访问到源端。 源端为Windows系统时需要对安装MgC Agent主机的IP开放5985端口。 源端为Linux系统时需要对安装MgC Agent主机的IP开放22端口。 源端Windows服务器需要关闭防火墙、杀毒软件,并开启winrm服务(在powershell命令窗口中输入winrm
填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127.0.0.1,192.168.1.1 import 是 填写general-log日志所在路径,例如:C:\data\logs MySQL-General_log开启方法如下: 在my.ini文件的[mysqld]下,添加如下配置:
实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 元数据采集完成后,在元数据列表单击血缘列的“去采集”,可以创建血缘采集任务。
中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 在资源列表选择资源类型,进入对应的资源列表页面。 勾选需要关联到同一应用的资源,单击页面左上角的“关联到应用”,弹出关联到应用窗口。 在下拉列表中选择需要关联的应用。未提前创建应用,单击“新建
单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 图3 任务实例管理 元数据采集完成后,在元数据列表单击血缘列的“去采集”,可以创建血缘采集任务。
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 config_path 是 填写配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。