检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法 请联系DLI服务技术支持人员,调整流控上限。
工作流包含的每台主机的迁移进度详情。 当主机迁移进度进行到“全量复制”和“增量同步”步骤时,如图1所示,单击任务详情(即目的端名称),可以直接跳转到SMS控制台的对应迁移任务详情页面,查看迁移进度。 图1 主机迁移阶段 直接前往主机迁移服务 SMS控制台,查看每台主机的迁移进度详情。
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql
”,如何处理? 出现该提示是因为Edge无法访问到源端。 源端为Windows系统时需要对安装Edge主机的IP开放5985端口。 源端为Linux系统时需要对安装Edge主机的IP开放22端口。 源端Windows服务器需要关闭防火墙、杀毒软件,并开启winrm服务(在powershell命令窗口中输入winrm
所创建的应用列表。 在应用列表中,单击应用操作列的“规格评估”,进入评估单应用页面。 在选择资源区域,勾选应用内,需要评估的主机资源。 根据表1,配置评估策略。 表1 评估策略参数说明 参数 子参数 说明 购买区域 - 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。
为什么存储迁移工作流进度长时间没有变化? 问题分析 出现迁移进度长时间未更新的情况通常是因为以下几个原因: 子任务处理:迁移工作流会自动将大型任务拆分为多个子任务来执行。只有当这些子任务完成后,系统才会更新显示的进度。 大对象迁移:如果子任务中包含了大型文件或对象,可能需要较长时间来迁移。
(可选)清理集群 当您完成数据迁移并且集群不再需要时,可以直接删除闲置的集群以释放资源。 在左侧导航栏选择“部署>迁移集群”,进入迁移集群页面。 在集群列表,选择需要清理的集群,单击操作列的“更多 > 删除”,弹出删除集群窗口。 选择是否同步删除关联资源后,单击“确认”,删除集群。
填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127.0.0.1,192.168.1.1 import 是 填写general-log日志所在路径,例如:C:\data\logs MySQL-General_log开启方法如下: 在my.ini文件的[mysqld]下,添加如下配置:
证。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在资源列表单击主机或主机的资源数量,进入资源列表页面的主机页签。 单击列表上方的“添加资源”按钮,弹出添加主机窗口。 图1 添加主机 根
细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动创建相应的库。如果是整库迁移,通常只会创建一个库;而表迁移可能需要创建多个库。通常,DLI的库数量上限为10。如果DLI空间不足,可能会导致元数据
步骤五:创建主机迁移工作流 当完成所有准备工作和步骤一~步骤四的操作后,即可前往迁移工作流界面,创建主机迁移工作流。 父主题: 阿里云主机迁移至华为云
实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 元数据采集完成后,在元数据列表单击血缘列的“去采集”,可以创建血缘采集任务。
通过创建迁移项目,可以实现不同迁移资源间的隔离。例如:您可以为迁移阿里云资源、AWS资源分别创建项目,通过项目将不同来源的资源进行隔离。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。选择“项目管理”页签,单击“创建项目”。 在弹出的窗口中,自定义项目名称,
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 config_path 是 填写配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。
为什么不能手动选择主机规格和磁盘类型? 主机未评估时,无法手动选择规格和磁盘类型,进行一次评估后,即可手动选择想要的主机规格和磁盘类型。 父主题: 规格评估
问题描述 Linux版本的Edge安装完成后,无法启动。 问题分析 出现该问题通常是因为安装Edge的主机后台进程过多或可用CPU太小,导致Edge在安装时,进程无法自动启动。 解决方法 请按照以下步骤,手动启动Edge进程: 执行如下命令,进入Edge安装目录中的scripts目录。
- 路径 输入目的端接收文件的路径,格式为:/文件夹。 当输入的是/时,表示迁移到目的端的根目录。 根据表4,进行迁移配置。 表4 迁移配置参数说明 参数 子参数 说明 迁移任务类型 全量迁移 迁移在源端信息配置的待迁移文件路径下/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。
为采集凭证,本节介绍获取Azure“存储账户”和“密钥”的方法。 登录 Azure 门户中转到存储账户。 在左侧导航栏选择“安全性和网络 > 访问密钥” ,即可看到“存储账户名称”和“密钥”。 在“key1”下单击密钥后的“显示”按钮,即可显示访问密钥,并出现复制按钮。 分别复制
选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址