检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent(原Edge)无法访问到源端。 源端为Windows系统时需要对安装MgC Agent主机的IP开放5985端口。 源端为Linux系统时需要对安装MgC Agent主机的IP开放22端口。 源端Windows服务器需要关闭防火墙、杀毒软件,并开启winrm服务(在powershell命令窗口中输入winrm
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法 请联系DLI服务技术支持人员,调整流控上限。
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql
nfig\kube-config\xxx.yaml 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。
创建集群将产生相关服务费用,具体费用请参见计费说明。 创建的集群节点暂不支持直接登录,如有需要请联系技术支持人员。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的应用迁移项目。 在左侧导航栏选择“资源准备>迁移集群”,进入迁移集群页面。 单击页面右上角的“创建集群”按钮,进入创建集群页面。
将鼠标移动到源端迁移准备度列的“未就绪”状态上,可以看到迁移准备度需要完成的相关配置,包括:绑定采集设备、绑定凭证、迁移预检测(自动触发)和关联应用。单击“采集设备”或“凭证”后的“配置”,弹出配置窗口。 根据表1,配置参数。 表1 迁移准备度参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql
如果c7规格有CPU和内存不小于源端且在阈值内(8U12G)的规格在售,则推荐最接近源端的规格;如果C7规格中没有找到合适的规格,系统将按照性能顺序,向下一个性能等级的虚拟机规格类型进行搜索。如果性能略低的规格类型中仍然没有找到合适的规格,系统将继续搜索更低性能的计算增强型虚拟机,直到按照性能顺序检索
填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127.0.0.1,192.168.1.1 import 是 填写general-log日志所在路径,例如:C:\data\logs MySQL-General_log开启方法如下: 在my.ini文件的[mysqld]下,添加如下配置:
实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 元数据采集完成后,在元数据列表单击血缘列的“去采集”,可以创建血缘采集任务。
r账号和密码作为采集凭证。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 在主机资源列表,单击列表上方的“添加资源”按钮,弹出添加主机窗口。 图1 添加主机 根据表1,填写相应参
中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 在资源列表选择资源类型,进入对应的资源列表页面。 勾选需要关联到同一应用的资源,单击页面左上角的“关联到应用”,弹出关联到应用窗口。 在下拉列表中选择需要关联的应用。未提前创建应用,单击“新建
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 config_path 是 填写配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。
实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 元数据采集完成后,在元数据列表单击血缘列的“去采集”,可以创建血缘采集任务。
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
步骤五:创建主机迁移工作流 当完成所有准备工作和步骤一~步骤四的操作后,即可前往迁移工作流界面,创建主机迁移工作流。 父主题: 阿里云主机迁移至华为云
单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当数据湖元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 数据湖元数据采集完成后,在元数据列表单击血缘列的“去采集”,可以创建血缘采集任务。
为什么不能手动选择主机规格和磁盘类型? 主机未评估时,无法手动选择规格和磁盘类型,进行一次评估后,即可手动选择想要的主机规格和磁盘类型。 父主题: 规格评估
选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址