检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用的Driver内存,参数配置例如:2G, 2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必须带单位,否则会启动失败。 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
刷新采集项列表查看采集项是否存在。 新增数据源失败。 请联系技术支持人员或提交工单。 数据源不存在。 刷新采集项列表查看数据源是否存在。 重新采集数据源失败。 刷新采集项列表查看该数据源是否存在,或联系技术支持人员。 删除数据源失败。 刷新采集项列表查看该数据源是否已删除,或联系技术支持人员。 修改数据源名称失败。
部署MgC Agent(原Edge) 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署MgC Agent。 MgC Agent不具备自动重启功能,严禁在任务执行期间重启MgC Agent,以避免任务失败。 操作步骤 安装MgC Agent的方法请参考下载并安装MgC
部署迁移工具Edge 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge
本节介绍使用TCO对比功能进行成本分析后,产品映射列表中所展示的价格计算说明。 资源总用量 显示该资源在账单区间内(即所选对比时间段内)的使用时长/使用容量,与账单中的用量保持一致。 不会体现该资源在账单区间内使用的具体时间节点。 根据产品类型单位分为小时或者GB。 计算产品类型计费模式为包月时,会转化为720小时。
血缘采集 血缘采集概述 导出作业 创建血缘采集任务 查看血缘关系 父主题: 大数据血缘
血缘采集 血缘采集概述 导出作业 创建血缘采集任务 查看血缘关系 父主题: 大数据血缘
COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite
准备工作 在使用大数据校验功能前,请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工
准备工作 在使用大数据校验功能前,请务必先完成以下必要的准备工作。 创建大数据迁移项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备MgC Agent(原Edge) 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的MgC
器、对象存储和数据库等资源进行深度采集。 创建主机迁移工作流:进行主机迁移,MgC提供高灵活、可定制的迁移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格。 创建大数据迁移任务:进行大数据迁移,支持将阿里云 MaxCompute数据迁移至华为云 数据湖探索(DLI)。
开始性能采集后,您还可以进行如下操作: 查看采集数据 单击主机名称,进入主机详情页面,在性能信息区域,可以查看采集到的主机性能数据。其中,7天和30天最大值为每小时汇总的定时任务,采集时长需超过1小时才能获取数据。 单击操作列的“查看”,可以查看采集周期内每项数据的详细数值和曲线图。 停止采集 单击“停止”,可以暂停性能数据采集。
开始性能采集后,您还可以进行如下操作: 查看采集数据 单击主机名称,进入主机详情页面,在性能信息区域,可以查看采集到的主机性能数据。其中,7天和30天最大值为每小时汇总的定时任务,采集时长需超过1小时才能获取数据。 单击操作列的“查看”,可以查看采集周期内每项数据的详细数值和曲线图。 停止采集 单击“停止”,可以暂停性能数据采集。
建的大数据迁移项目。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。 在功能入口区域,单击“校验结果”,进入校验结果页面。 通过执行日期,筛选出要查看的执行批次。 在校验结果列表中,可以进行如下操作: 查看校验详情:单击分区达标详情列的“查看”按钮,展开该数据表的作业
能表示的有效位数而无法被感知到,从而使得差异率计算结果为0。 查看校验结果 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域,单击“校验结果”,进入校验结果页面。 通过执行日期,筛选出要查看的执行批次。
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题: 大数据校验
业务场景)一致。 选择“按性能负载调整”,需要先完成源端主机性能采集,获取源端主机性能负载数据,再通过设置数据处理规则,推荐满足条件的CPU核数、内存大小。采集的性能数据越多,推荐的规格越准确,建议主机性能采集时长不少于7天。 选择“按性能负载调整”,会通过设置的数据处理规则对目
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。