检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时区时间以控制台所选Region的当地时间为准。 启用LTS服务 启用:记录存储迁移过程中的日志,便于查看和定位迁移中出现的问题。 不启用:不记录存储迁移过程中的日志。 - 参数配置完成后,单击“确认”开始创建集群。在迁移集群列表中查看集群状态,状态详情参见集群状态说明。 迁移集群创建成功后,您可以进行如下操作。
进入资源列表页面的主机页签。 在资源采集页面,单击任务总数后的“查看”,进入任务列表页面,查看任务状态。如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。 步骤二:关联应用 如果在采集可用区主机资源的步骤6.已
建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 password 是 填写登录用户名对应的密码。 username 是 填写拥有可读权限的登录用户名。 port 是 填写Nacos的访问端口。例如:8848 ip 是 填写Nacos的访问地址。例如:http://127
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
血缘采集 血缘采集概述 创建血缘采集任务 查看血缘关系 父主题: 大数据血缘
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明
角的当前项目下拉列表中选择迁移项目。 单击页面右上角的“创建迁移工作流”按钮,进入选择模板页面。 选择可用区迁移标准模板,单击“查看步骤详情”,可以查看可用区迁移模板所包含的迁移阶段和步骤,以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成;步骤类型为
验配置信息并与执行机建立连接,测试通过代表与执行机连接成功。 测试连接通过后,单击“确认”按钮,创建执行机连接完成。 在连接管理页面,可以查看创建的执行机连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建目的端连接
iam:projects:listProjects(查询租户项目) eps:enterpriseProjects:list(查看企业项目列表) vpc:subnets:get(查询子网列表或详情) vpc:securityGroups:get(查询安全组列表或详情) vpc:vpcs:get(查询虚拟私有云详情) 迁移方案配置
启用:记录存储迁移过程中的日志,便于查看和定位迁移中出现的问题。 不启用:不记录存储迁移过程中的日志。 - 参数配置完成后,单击“确认”开始创建集群。在迁移集群列表中查看集群状态,状态详情参见集群状态说明。如果集群状态为创建失败,将鼠标移动到“创建失败”上,可以查看失败原因。在解决失败原因后,可以通过操作列的“更多
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
BUSINESS_DOMAIN PASSWORD(ENCRYPTED) PRI_KEY_PATH(ENCRYPTED) 注意: 填写的账号信息(用户名、密码)必须具备在源端主机上执行netstat命令的权限。 app_only 否 设置是否仅采集进程应用信息,true代表是,false代表否,默认为false。
资源采集 资源采集常见问题和处理方法 如何查看采集失败原因? 公网采集失败,提示:“网络连接超时”或“其他异常” 数据源采集失败,如何重新采集? 如何获取云平台凭证(AK/SK)? 如何获取添加Azure凭证所需的信息? 如何获取Azure对象存储深度采集所需凭证? 如何配置采集Azure容器资源所需权限?
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
启用:记录存储迁移过程中的日志,便于查看和定位迁移中出现的问题。 不启用:不记录存储迁移过程中的日志。 - 参数配置完成后,单击“确认”开始创建集群。在迁移集群列表中查看集群状态,状态详情参见集群状态说明。如果集群状态为创建失败,将鼠标移动到“创建失败”上,可以查看失败原因。在解决失败原因后,可以通过操作列的“更多
数据站点类型为华为云OBS时选择。根据桶的实际类型选择。桶类型可以通过查看桶的基本信息获取。 appID 数据站点类型为腾讯云COS时填写。填写腾讯云APPID。 说明: 您可以在腾讯云控制台账号信息页面查看APPID。 表3 目的端信息参数说明 参数 说明 数据站点类型 选择“华为云OBS”。
添加对应类型的凭证,添加后会自动同步到MgC。 凭证同步失败:在MgC控制台左侧导航树,选择“配置管理 > 凭证管理”,单击Edge名称,查看在Edge添加的凭证是否同步到MgC。如果未同步,请前往Edge控制台重新同步,确保在MgC的凭证管理页面可以看到相关凭证。 父主题: 常见问题
在迁移过程中,源端会和目的端服务器建立一个SSH连接用于传输数据。如果无法成功建立SSH连接,则会导致迁移失败。 解决方法 单击任务详情,进入SMS任务详情页面。 查看具体的报错原因和错误码,并参考以下文档进行处理 SMS.380x SSH连接失败问题汇总 SMS.0303 “域名联通失败”该如何处理? 父主题:
迁移对源端和目的端有什么要求? 进行存储迁移时,如何选择集群规格? 影响大对象迁移速度的关键因素有哪些? 影响小对象迁移速度的关键因素有哪些? 如何监控和查看影响迁移速度的关键指标? 为什么存储迁移工作流进度长时间没有变化? 将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理?