检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决方法 基于源端表创建临时表,使用临时表进行数据迁移。 父主题: 大数据数据迁移
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
存储工作流执行失败,列表提示“COMPARISON_ATTRIBUTE_NOT_SAME”,如何处理? 问题现象 迁移到目的端时,迁移列表报错提示“COMPARISON_ATTRIBUTE_NOT_SAME”。 解决方法 根本原因是元数据校验失败。具体分为两种场景: 场景一: 由
可以持续关注数据一致性变化情况。第二日0点自动停止任务。 指定日期校验:仅适用于分区为年月日格式的分区表,支持周期性指定一个或多个连续日期分区进行校验。分区格式不为年月日的表不会进行校验。 指定时间校验:用户可以选择一个时间段,校验该时间段内的数据。只能选择当前时间之前的时间段进行校验。
PC网络Endpoint信息。 各地域VPC网络Endpoint信息请参考Endpoint对照表。 创建源端连接完成后,在连接管理页面,可以查看已创建的连接列表。如有需要,可以单击列表操作列的“修改链接”对连接配置进行修改。 父主题: 大数据数据迁移
如果连接了迁移中心,系统会自动将添加的凭证同步至迁移中心。 导入凭证 从迁移中心控制台的应用管理页面,导出主机资源列表或数据库资源列表,格式为CSV文件。 图2 导出资源列表 打开导出的CSV文件,在最后增加“user_name”和“password”两列,并填写对应资源的用户名和密码。填写完成后,保存文件。
华为云账号AK/SK进行校验。 AK,SK被删除或停用 请前往“我的凭证 > 访问密钥”中查看使用的AK/SK是否在列表中。 如果不在列表中,可以更换或创建一个新的AK/SK。 如果在列表中,检查是否被停用,如果被停用请重新启用。 AK,SK所属账号没有开通编程访问方式 登录华为云管理控制台。
“Infinity”(表示无限大)或 “-Infinity”(表示无限小)。这些值并不是有效的数字,因此在进行数值转换或计算时,可能会引发异常。 在校验过程中,Hive和Spark对这些无法表示的数值有默认的处理方式: 当数值为 Infinity 或 -Infinity 时,会被默认处理并显示为
对象迁移的速度。 建议:优化集群的CPU资源分配,或者增加更多的迁移节点来分散负载。 源端和目的端的QPS限制:源端和目的端的QPS(每秒查询率)限制,可能会成为制约迁移速度的因素。 建议:根据迁移需求调整源端和目的端的QPS限制。 迁移集群的网络带宽使用情况:对于小对象迁移,网
当前项目下拉列表中选择迁移项目。 单击目的端规格配置框中的“目的端配置表”按钮,进入目的端配置表页面。 在资源配置明细区域的主机页签,单击已完成规格评估主机购买状态列的“添加至购买列表”,购买状态变为“待购买”。 添加完成后,在页面上方的购买列表框中,单击“查看列表”按钮,进入购买列表页面。
景,简单、快速创建迁移工作流,提升用户云迁移效率。 多源采集 迁移中心支持多种类的资源采集,包括:云平台、主机、数据库、容器、中间件等。并且可以对采集到的主机、数据库、存储等信息进行调研评估,为用户上云提供配置推荐和方案设计。 可视化管理 为了让用户对迁移进度一目了然,迁移中心提
元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 由于阿里云最近更新了timestamp_ntz字段类型,目前该字段类型尚未被阿里云SDK所兼容支持,这一兼容性问题导致SDK无法识别并读取该字段,从而使该字段所在的表元数据迁移失败。 注意事项
部分常见的错误原因参见下表。如无法自行解决,请联系对应云服务技术支持人员或提交工单。 原因 描述 处理方法 Ecs.0319 check capacity: capacity is not enough. 用户ecs配额不足 申请扩大容量,增加配额。更多信息查询:弹性云服务器 ECS错误码
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
到该方案的配置概览。单击“查看详情”,可以查看该方案的更多信息。 在迁移集群区域,选择迁移使用的集群。默认使用迁移方案中配置的集群,您也可以在下拉列表中重新选择集群,选择后仅对当前工作流生效,不会修改迁移方案中配置的集群。 根据表4,进行迁移配置。 表4 迁移配置参数说明 参数 子参数
您可以通过查看配置进入产品映射明细列表,在这个列表中,您可以添加、修改、删除产品和规格映射,调整程序预定义的资源映射逻辑,从而获取您真实需要的产品规格列表。 在上云成本分析(凭证)任务列表,单击任务名称。 单击操作列的“查看配置”按钮,进入“产品映射”页面。 单击映射类型前的按钮,可以查看映射详情。 映
01006 对象列表文件太大 请修改列表文件,使其小于300 MB。 OMS.01007 对象列表文件元数据未找到 请检查列表文件的元数据。 OMS.01008 URL解码失败 请检查列表文件中的url是否正确编码。 OMS.01009 资源路径无效 请检查列表文件路径是否正确。
在设置窗口中,单击“时间和语言”。 在左侧列表击“语言”,进入语言设置页面。 在相关设置中,单击“管理语言设置”,打开区域窗口的管理选项卡。 在“非Unicode 程序的语言”框中,单击“更改系统区域设置”,弹出区域设置窗口。 查看当前系统区域设置与当前语言是否一致。如果不一致,在下拉列表中选择与当前语言一致的地区,单击“确定”。
上角的当前项目下拉列表中选择迁移项目。 在资源列表单击主机或主机的资源数量,进入资源列表页面的主机页签。 单击列表上方的“添加资源”按钮,弹出添加主机窗口。 图1 添加主机 根据表1,填写相应参数后,单击“确认”,系统会自动检查凭证绑定状态和进行信息采集。 表1 添加主机参数说明
并确保该Windows主机满足以下要求: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。 关闭该主机上的