检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题: 大数据校验
COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite
COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite
选择的OBS目录获取导出结果。 导出阿里云DataWorks作业 登录阿里云DataWorks控制台,单击左侧导航栏的“数据建模与开发 > 数据开发”,在下拉框中选择对应工作空间后单击“进入数据开发”。 单击左上方的图标,选择全部产品 > 更多 > 迁移助手,进入迁移助手首页。 参考创建和查看Da
选择的OBS目录获取导出结果。 导出阿里云DataWorks作业 登录阿里云DataWorks控制台,单击左侧导航栏的“数据建模与开发 > 数据开发”,在下拉框中选择对应工作空间后单击“进入数据开发”。 单击左上方的图标,选择全部产品 > 更多 > 迁移助手,进入迁移助手首页。 参考创建和查看Da
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
建的大数据迁移项目。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。 在功能入口区域,单击“校验结果”,进入校验结果页面。 通过执行日期,筛选出要查看的执行批次。 在校验结果列表中,可以进行如下操作: 查看校验详情:单击分区达标详情列的“查看”按钮,展开该数据表的作业
能表示的有效位数而无法被感知到,从而使得差异率计算结果为0。 查看校验结果 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域,单击“校验结果”,进入校验结果页面。 通过执行日期,筛选出要查看的执行批次。
Agent(原Edge)日志报错信息如下: 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持,提高接口流控的阈值。 父主题: 大数据校验
客户端,进行sql操作,出现用同一个命令存在返回值不同的情况。 这是因为在进行大数据对数的求和计算时,由于分布式计算顺序的不确定性,可能会导致计算结果的不一致性。特别是处理接近或等于double类型最大值(1.7976931348623157E+308)的数据时,加上一个较小的数值(如2.0)可能会导致数值溢
登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域,单击“查看血缘图”,进入血缘图页面。 通过数据库名、表名筛选需要查看的血缘图。如果进行了大数据校验,还可以通过校验批次进行筛选。 父主题: 血缘采集
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。 在血缘采集区域,单击“查看血缘图”,进入血缘图页面。 通过数据库名、表名筛选需要查看的血缘图。如果进行了大数据校验,还可以通过校验批次进行筛选。 父主题: 血缘采集
如何查看采集失败原因? 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。采集失败的数据源,处理完失败原因后,需要删除后通过新增数据源重新采集。 父主题: 资源采集
NOT_SAME”。 解决方法 根本原因是元数据校验失败。具体分为两种场景: 场景一: 由于元数据中的mtime属性引起的校验失败。在对象存储数据迁移过程中,如果启用了元数据保留迁移,且目的端存储为PFS桶,可能会因为源端对象的元数据中包含mtime属性而导致校验失败。这是因为对
刷新采集项列表查看采集项是否存在。 新增数据源失败。 请联系技术支持人员或提交工单。 数据源不存在。 刷新采集项列表查看数据源是否存在。 重新采集数据源失败。 刷新采集项列表查看该数据源是否存在,或联系技术支持人员。 删除数据源失败。 刷新采集项列表查看该数据源是否已删除,或联系技术支持人员。 修改数据源名称失败。
QPS)等关键性能指标在内的详细信息。不同的数据库类型,采集的信息详情可能有所差异。 在源端内网环境中或在可以访问到源端数据库的网络环境中安装Edge工具并与迁移中心连接。 在资源采集页面的资源列表,单击数据库资源的资源数量,进入资源列表页面的数据库页签。 在数据库资源列表中,通过平台类型过滤
主机迁移过程中主要涉及的流量分为两部分:控制流和数据流。 控制流:控制流是指源端主机与云服务管理面之间的通信。为确保迁移过程的顺利进行,需要检查源端主机出方向是否有限制,并确保源端主机能够访问迁移过程中依赖的云服务,包括SMS、IAM、ECS、EVS、VPC、IMS等服务的域名。 数据流:数据流涉及从源端到目的
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行
型和对应的使用场景说明如下: 应用迁移项目:适用于需要进行主机、存储等资源的采集、迁移场景。 复杂迁移(大数据迁移)项目:适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项