检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在资源采集页面,单击任务总数后的“查看”,进入任务列表页面,查看任务状态。如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。 步骤二:关联应用 如果在采集可用区主机资源的步骤6.已经为主机关联了应用,则可以跳过该步骤,进行下一步规格评估。
Spark应用的Executor内存,参数配置例如:2G, 2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必须带单位,否则会启动失败。 driverCores 1-4 Spark应用Driver的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 driverMemory
法请参考如何获取云平台凭证。 配置文件 适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥 适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 云上凭证的
法请参考如何获取云平台凭证。 配置文件 适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥 适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 云上凭证的
影响大对象迁移速度的关键因素有哪些? 在迁移大对象的过程中,迁移集群的以下几个关键因素可能会影响迁移速度: 网络带宽限制:网络带宽不足,可能成为迁移速度的主要制约因素。 建议:升级带宽或选择低峰时段进行迁移。 迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足,成为迁移速度的制约因素。
config_path 是 填写配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建
列表文件需要满足如下要求: 列表文件大小不能超过30 MB。 列表文件类型必须为.txt类型。 列表文件必须是UTF-8无BOM格式编码格式。 列表文件每行只能包含一个文件名称,且文件名称使用URL Encode编码。 列表文件行长度不超过16×1024=16384字节,否则迁移失败。 列表文件行数不超过10000
是 填写集群配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建
列表文件需要满足如下要求: 列表文件大小不能超过30 MB。 列表文件类型必须为.txt类型。 列表文件必须是UTF-8无BOM格式编码格式。 列表文件每行只能包含一个文件名称,且文件名称使用URL Encode编码。 列表文件行长度不超过16×1024=16384字节,否则迁移失败。 列表文件行数不超过10000
DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。 true:查询DLI表的分区,空分区校验状态为成功,分区不存在状态为失败。 false:不查询DLI表的分区,空分区或者分区不存在校验状态都为成功 spark.sql.files.maxRecordsPerFile
K/SK,单击“查询项目”按钮。系统会对输入的AK/SK进行验证,验证通过后,即可进行下一步。如果提示AK/SK错误,请参考AK/SK验证失败,如何处理?进行排查处理。 如果是进行主机迁移,输入的AK/SK需要具备SMS服务的相关权限。需要的权限和配置方法请参考SMS自定义策略。
DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。 true:查询DLI表的分区,空分区校验状态为成功,分区不存在状态为失败。 false:不查询DLI表的分区,空分区或者分区不存在校验状态都为成功 spark.sql.files.maxRecordsPerFile
根据实际需求,选择已创建的元数据连接类型。 数据库 填写需要进行元数据同步的数据库名称。 须知: 元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。其他元数据连接类型,该参数为可选参数,不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加
根据实际需求,选择已创建的元数据连接类型。 数据库 填写需要进行元数据同步的数据库名称。 须知: 元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。其他元数据连接类型,该参数为可选参数,不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加
对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL Encode编码。 对象列表文件行长度不超过16KB,否则迁移失败。 对象列表文件行数不超过10000行。
rng-tools 关闭安装MgC Agent的Linux主机上的杀毒、防护类软件,该类软件会拦截MgC Agent的执行,导致迁移工作流执行失败。 在安装MgC Agent的主机安全组入网规则中,需要添加一条允许通过TCP协议访问27080端口的规则。源地址填写用于登录MgC Ag
每个模板最多支持导入10,000张表。 同一表组内的表必须属于同一个元数据来源。 模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。 元数据连接为Delta(
将主机迁移至Flexus云服务器X实例(原云耀云服务器X实例) 概述 相对于其他弹性云服务器产品,Flexus云服务器 X实例提供了用户可自定义的精细化产品规格,用来最大化精确匹配用户业务的实际资源需求,以降低用户上云成本,避免资源浪费。为了降低用户选择或自定义X实例规格的复杂度
每个模板最多支持导入10,000张表。 同一表组内的表必须属于同一个元数据来源。 模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。 元数据连接为Delta(
拉列表中,选择要导入的资源类型,并上传对应的资源清单。 图2 选择资源类型 仅支持上传UTF-8编码且为中文表头的CSV文件,单个文件大小不能超过50 MB。将CSV文件编码转换为UTF-8的方法请参考转换CSV文件编码为UTF-8。 资源类型 操作步骤 主机 单击资源清单后的“