检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中,
关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 在OBS、NAS和SMB存储系统之间进行异构迁移时,不同系统对文件夹和路径长度的限制存在不同。了解并遵守每个系统的对象长度限制是成功执行异构迁移的关键。根据具体的迁移方向,确保对象的路径长度符合目的端系统的要求,以避免迁移失败或数据不一致的问题。
Agent在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。 端口占用:MgC Agent会占用源端主机上的一些端口,也可能会对源端业务产生影响。 安装Linux版本的主机要求 可以连接外网,并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名。
localhost Opened Microsoft.PowerShell 如果配置失败,请参考 PowerShell 帮助文档中的 about_Remote_Troubleshooting 获取解决方案。 父主题: 常见问题
导入阿里云主机资源清单仅支持上传UTF-8编码且为中文表头的CSV文件,本节介绍将CSV文件的编码格式修改UTF-8编码的方法。 方法一(适用于Windows操作系统) 选择csv文件,鼠标右键,打开方式选择“记事本”。 在记事本窗口左上角选择“文件 > 另存为”,在弹出的“另存为”窗口中,找到编码下拉菜单,选择“UTF-8”,然后保存即可。
行脚本的主机通过SSH协议进行连接。 SSH访问权限设置 SSH服务配置:确保所有源端主机上的SSH服务已启用并运行正常。大多数Linux服务器发行版默认启用SSH服务。 SSH密码认证:确保所有源端主机的SSH服务已配置为接受密码认证,以便脚本可以使用CSV文件中提供的密码进行自动登录。
选择在完成准备工作时与迁移中心连接成功的Edge。 阿里云凭证 选择完成准备工作时,在Edge侧添加的阿里云(AK/SK)凭证。 项目名称 输入待迁移数据所在的MaxCompute项目名称。项目名称可在MaxCompute控制台的项目管理中获取。 Endpoint 输入MaxCompute服务所在地域的VPC网络Endpoint信息。
Endpoint 输入MaxCompute服务所在地域的VPC网络Endpoint信息。 各地域VPC网络Endpoint信息请参考Endpoint对照表。 创建源端连接完成后,在连接管理页面,可以查看已创建的连接列表。如有需要,可以单击列表操作列的“修改链接”对连接配置进行修改。 父主题: 大
Excel编辑并保存的模板文件无法被MgC识别。 保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名},{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。
installed如何处理? 问题描述 绑定采集设备和凭证后,进行深度采集失败,失败原因:The collector is not installed. 问题分析 出现该问题,可能的原因如下: 主机规格不足:安装MgC Agent(原Edge)的主机规格小于推荐的最小规格4U8G。因资源不足导致采集器无法正常运行。
活状态。 开通DLI服务Spark 3.3和jar程序访问元数据白名单 数据迁移需要使用DLI服务的Spark 3.3特性和jar程序访问DLI元数据特性,请联系DLI服务的技术支持人员申请开通。 (可选)开通DLI服务Spark生命周期白名单 如果待迁移的元数据有生命周期表(即
Excel编辑并保存的模板文件无法被MgC识别。 保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名},{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。
在集群创建完成后,您可以根据实际需求随时调整集群内的流量控制规则和节点信息。 前提条件 已完成集群创建。 添加流量控制规则 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 在左侧导航栏选择“资源准备>迁移集群”,进入迁移集群页面。 在集群列表中,单击操作列的“管理”,右侧弹出集群详细信息页面。
最多可以创建5条记录。 单击“确认”,完成流量控制规则的添加。 新增节点 新增迁移节点和列举节点的操作步骤相同,以下步骤以新增迁移节点为例进行介绍。 登录迁移中心管理控制台。在左侧导航栏选择“部署>迁移集群”,进入迁移集群页面。 在集群列表中,单击操作列的“管理”,右侧弹出集群详细信息页面。 在
2024/06/06 14:50(现在)的增量数据。 如果勾选“指定日期”,将只迁移指定日期内的增量数据。 分区筛选方式 根据数据的分区属性来选择和检索数据。默认为更新时间。 更新时间:筛选出最近或在特定时间段内有更新的数据。 创建时间:筛选出在特定时间窗口内创建的数据。 MaxCompute参数(可选)
出于安全考虑,建议使用源端服务器的WinRMhost(即主机名或IP地址)替换TrustedHosts 的值"*"。不替换代表信任任意主机。 测试远程连接。 使用以下命令测试与源端服务器的连接,“登录账号”和“源端服务器IP”需要替换为源端服务器实际的登录账号和IP地址。 Enter-PSSession
览,需要为IAM账号的AK/SK添加MRS服务和DLI服务的只读权限(ReadOnly)。 阿里云访问密钥(AK/SK)准备 准备一组源端阿里云账号的Access Key(AK)和Secret Key(SK),获取方法请参考查看RAM用户的AccessKey信息。 确保该AK/SK具备以下最小权限要求:
作为迁移节点、列举节点、master节点 以上规格可以满足大多数迁移场景的需求,能够确保迁移速度和稳定性。如果选择的规格小于推荐规格,可能会因为资源不足而导致迁移速度变慢,影响迁移效率和稳定性。因此,在选择集群规格时,请务必根据实际需求选择推荐或更高的集群规格。 父主题: 存储迁移
password 否 开启用户认证时,填写Eureka服务器访问密码,多个密码之间用逗号分隔(按照endpoint的顺序对应输入),若某个服务器无密码,用空格代替。例如:password1, ,password2 endpoint 是 填写Eureka服务器地址,如果是集群,地址之间用逗号分隔。例如