检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法 请联系DLI服务技术支持人员,调整流控上限。
问题描述 Windows版本的Edge安装完成后,无法启动进入注册页面。 问题分析 出现该问题通常是因为安装Edge的主机后台进程过多或可用CPU太小,导致Edge在安装时,进程无法自动启动。 解决方法 请按照以下步骤,手动启动Edge进程: 打开Edge所在主机的“任务管理器”。 选择
性能优先 推荐的目的端规格要求性能最佳。 价格优先 推荐的目的端规格在满足要求的前提下尽量节约成本。 偏好设置 推荐目的端时优先推荐满足偏好设置要求的主机。详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 虚拟机类型偏好(可选) 选择期望的目的端主机类型,支持多选。 虚拟机规格族偏好(可选)
迁移工具Edge使用WinRM服务连接源端主机,进行脚本传输和执行。出现该问题是因为执行脚本的内存不足,导致迁移失败。 解决方法 检查并调整PowerShell内存配置。 在源端待迁移主机的PowerShell内执行以下命令,查看PowerShell运行时的内存配置参数。 Get-Item WSMan:\local
采集时长受控:采集任务在有限的时间内完成,采集避免长时间占用系统资源。 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小权限原则,即只授予完成特定任务所需的最小权限。
已通过资源采集的公网采集,完成对象存储资源的发现与采集。 (可选)已对待迁移的对象存储资源进行深度采集。 注意事项 创建方案时,待迁移桶列表中的资源所属的平台必须和所选的源端平台一致,且一个方案对应一个目的端区域。 一个源端桶资源可以关联多个方案。 在一个方案下,一个桶资源的目的端前缀只能有一个,但是源端前缀可以有多个。
可以将采集的源端主机与目的端主机进行绑定,绑定后, 迁移工作流将使用所绑定的目的端作为迁移的目的端。 绑定目的端的主机,在创建迁移工作流前,无需进行评估推荐。 前提条件 已完成资源采集。 注意事项 绑定的目的端主机有以下要求: 选择绑定的目的端必须关机,如果需要绑定的目的端处于开机状态,请关机后再绑定。
出现该问题的原因可能是您所选凭证的用户名和密码与源端主机不匹配。 解决方法 核对凭证信息。 请仔细检查凭证中的用户名和密码是否输入正确,包括大小写和特殊字符。 测试凭证有效性。 使用核对后的用户名和密码尝试登录源端主机,验证凭证的有效性。 如果可以登录,请更新在Edge上添加的源端主
单击目的端规格配置框中的“目的端配置表”按钮,进入目的端配置表页面。 在资源配置明细区域的主机页签,单击已完成规格评估主机购买状态列的“添加至购买列表”,购买状态变为“待购买”。 添加完成后,在页面上方的购买列表框中,单击“查看列表”按钮,进入购买列表页面。 在操作流程区域,单击“查看我的模板”
TCO对比支持哪些云厂商? 目前支持的源端云厂商和资源范围如下表。 源端云厂商 源端资源类型 华为云资源类型 AWS EC2 ECS EBS EVS 阿里云 ECS ECS EBS EVS 部分EBS产品规格,由于计算方式差别较大,源端和华为云都忽略了IOPS以及突发性吞吐相关计
executorCores 1- 4 Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory
迁移节点和一个列举节点在线 不可用 所有迁移节点或列举节点不在线 离线 master节点离线,可能是网络中断、ECS删除等原因,请排查Vpcep Service、ECS等资源情况 升级中 升级集群版本中 升级失败 升级集群版本失败 废弃中 30天内无任务运行,废弃集群中 废弃失败
选择在完成准备工作时与迁移中心连接成功的Edge。 阿里云凭证 选择完成准备工作时,在Edge侧添加的阿里云(AK/SK)凭证。 项目名称 输入待迁移数据所在的MaxCompute项目名称。项目名称可在MaxCompute控制台的项目管理中获取。 Endpoint 输入MaxCompute服务所在地域的VPC网络Endpoint信息。
驱动力调研 操作场景 对上云迁移驱动力的系统评估,有助于帮助您针对性地制定上云策略和迁移方案。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏“调研>上云调研”,进入“上云调研”页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击驱动力调研框中的“开始调研”按钮,进入“驱动力评估”页面。
表中选择迁移项目。 单击准备度调研框中的“开始调研”按钮,进入“准备度评估”页面。 根据实际情况,依次填写/勾选相关信息,单击“提交”。 系统会自动生成并下载上云准备度评估报告,您可以通过报告,查看华为云对您上云迁移的建议。 父主题: 上云调研
通过控制台界面和日志文件查看和了解操作行为,并进行错误排查和资源定位。 功能介绍 日志记录:系统会生成详细的操作日志,日志文件存储于:{Edge安装路径}/logs/audit/audit.log 。 事件记录界面:Edge控制台提供事件记录页面,可以查看事件来源、资源名称、关键行为名称、操作时间和结果等事件记录。
DLI校验任务出现大量失败表 问题描述 创建并执行DLI校验任务时,出现大量失败表,查看Edge日志报错信息如下: 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持,提高接口流控的阈值。 父主题: 大数据校验
存储类型介绍 各云厂商的对象存储服务针对用户业务对存储性能、成本的不同诉求,将对象的存储级别进行了区分,区分的普遍依据是对象的访问频度、访问时延、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据,华为云OBS提供了以下四种存储类型: 标准存储 访问时延低和吞吐量
移时,单击操作列的“运行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入任务进度页签,可以查看该任务产生的运行实例以及迁移进度。 单击进度统计列的“查看”,进入进度详情页面。可以查看元数据的增量感知结果并导出任务结果。 单击进度详情页面右上角的“打开DDL编辑器
在使用大数据校验功能前,请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具Edge。大数据校