检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。根据新增表组参数说明,配置参数后,单击“确认”按钮,创建表组。 表2 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。
解决方法 基于源端表创建临时表,使用临时表进行数据迁移。 父主题: 大数据数据迁移
iam:projects:listProjects(查询租户项目) eps:enterpriseProjects:list(查看企业项目列表) vpc:subnets:get(查询子网列表或详情) vpc:securityGroups:get(查询安全组列表或详情) vpc:vpcs:get(查询虚拟私有云详情) 迁移方案配置
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
务管理页签,可以查看已创建的数据湖元数据同步任务列表以及参数配置信息。单击操作列的“更多>修改”,可以修改任务参数配置。 单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录
PC网络Endpoint信息。 各地域VPC网络Endpoint信息请参考Endpoint对照表。 创建源端连接完成后,在连接管理页面,可以查看已创建的连接列表。如有需要,可以单击列表操作列的“修改链接”对连接配置进行修改。 父主题: 大数据数据迁移
存储工作流执行失败,列表提示“COMPARISON_ATTRIBUTE_NOT_SAME”,如何处理? 问题现象 迁移到目的端时,迁移列表报错提示“COMPARISON_ATTRIBUTE_NOT_SAME”。 解决方法 根本原因是元数据校验失败。具体分为两种场景: 场景一: 由
“Infinity”(表示无限大)或 “-Infinity”(表示无限小)。这些值并不是有效的数字,因此在进行数值转换或计算时,可能会引发异常。 在校验过程中,Hive和Spark对这些无法表示的数值有默认的处理方式: 当数值为 Infinity 或 -Infinity 时,会被默认处理并显示为
/ 执行如下命令,启动Edge。 ./start.sh 当出现如下图所示提示时,表示Edge已经启动。 执行如下命令,查看Edge进程。 ps -ef |grep edge 当出现如下图所示提示时,表示Edge进程已经启动。 父主题: 常见问题
华为云账号AK/SK进行校验。 AK,SK被删除或停用 请前往“我的凭证 > 访问密钥”中查看使用的AK/SK是否在列表中。 如果不在列表中,可以更换或创建一个新的AK/SK。 如果在列表中,检查是否被停用,如果被停用请重新启用。 AK,SK所属账号没有开通编程访问方式 登录华为云管理控制台。
MB。 单击“确认”,创建血缘采集任务完成。系统自动开始进行血缘采集。 单击“查看任务”,进入血缘采集页面,可以在任务列表中查看采集任务状态。 当任务状态为“已完成”时,单击页面右上角的“查看血缘”,可以查看血缘关系图。 父主题: 血缘采集
当前项目下拉列表中选择迁移项目。 单击目的端规格配置框中的“目的端配置表”按钮,进入目的端配置表页面。 在资源配置明细区域的主机页签,单击已完成规格评估主机购买状态列的“添加至购买列表”,购买状态变为“待购买”。 添加完成后,在页面上方的购买列表框中,单击“查看列表”按钮,进入购买列表页面。
对象迁移的速度。 建议:优化集群的CPU资源分配,或者增加更多的迁移节点来分散负载。 源端和目的端的QPS限制:源端和目的端的QPS(每秒查询率)限制,可能会成为制约迁移速度的因素。 建议:根据迁移需求调整源端和目的端的QPS限制。 迁移集群的网络带宽使用情况:对于小对象迁移,网
在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。根据新增表组参数说明,配置参数后,单击“确认”按钮,创建表组。 表3 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。
/ 执行如下命令,启动Edge。 ./start.sh 当出现如下图所示提示时,表示Edge已经启动。 执行如下命令,查看Edge进程。 ps -ef |grep edge 当出现如下图所示提示时,表示Edge进程已经启动。 父主题: Edge安装完成后,无法启动
部分常见的错误原因参见下表。如无法自行解决,请联系对应云服务技术支持人员或提交工单。 原因 描述 处理方法 Ecs.0319 check capacity: capacity is not enough. 用户ecs配额不足 申请扩大容量,增加配额。更多信息查询:弹性云服务器 ECS错误码
到该方案的配置概览。单击“查看详情”,可以查看该方案的更多信息。 在迁移集群区域,选择迁移使用的集群。默认使用迁移方案中配置的集群,您也可以在下拉列表中重新选择集群,选择后仅对当前工作流生效,不会修改迁移方案中配置的集群。 根据表4,进行迁移配置。 表4 迁移配置参数说明 参数 子参数
在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。根据新增表组参数说明,配置参数后,单击“确认”按钮,创建表组。 表3 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。
在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。根据新增表组参数说明,配置参数后,单击“确认”按钮,创建表组。 表3 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意: 表组中的所有表必须来源于同一个元数据来源。
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql