血缘采集 血缘采集概述 创建血缘采集任务 查看血缘关系 父主题: 大数据血缘
可用区迁移错误码处理方法汇总 使用可用区迁移工作流时,当出现AZworkflow.xxxx类型的报错时,可通过错误码描述和处理方法查询报错原因以及处理方法。 父主题: 可用区迁移
开始性能采集后,您还可以进行如下操作: 查看采集数据 单击主机名称,进入主机详情页面,在性能信息区域,可以查看采集到的主机性能数据。其中,7天和30天最大值为每小时汇总的定时任务,采集时长需超过1小时才能获取数据。 单击操作列的“查看”,可以查看采集周期内每项数据的详细数值和曲线图。
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明
估主机购买状态列的“添加至购买列表”,购买状态变为“待购买”。 添加完成后,在页面上方的购买列表框中,单击“查看列表”按钮,进入购买列表页面。 在操作流程区域,单击“查看我的模板”,右侧弹出“我的模板”窗口,单击“创建模板”按钮,进入创建配置模板窗口。 在基础信息区域,选择模板类
选择源端主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。 添加成功后,在资源列表页面的主机页签,可以查看添加的主机资源。 添加数据库 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。
启用:记录存储迁移过程中的日志,便于查看和定位迁移中出现的问题。 不启用:不记录存储迁移过程中的日志。 - 参数配置完成后,单击“确认”开始创建集群。在迁移集群列表中查看集群状态,状态详情参见集群状态说明。如果集群状态为创建失败,将鼠标移动到“创建失败”上,可以查看失败原因。在解决失败原因后,可以通过操作列的“更多
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
选择源端主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。 添加成功后,在资源列表页面的主机页签,可以查看添加的主机资源。 添加数据库 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用管理”,进入应用管理页面。在页面左上角的当前项目下拉列表中选择迁移项目。
创建目的端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
迁移时,单击操作列的“运行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入任务进度页签,可以查看该任务产生的运行实例以及迁移进度。 单击进度统计列的“查看”,进入进度详情页面。可以查看元数据的增量感知结果并导出任务结果。 单击进度详情页面右上角的“打开DDL编辑
上角的当前项目下拉列表中选择迁移项目。 单击页面右上角的“创建迁移工作流”按钮,进入选择模板页面。 选择主机迁移标准模板,单击“查看步骤详情”,可以查看主机迁移模板所包含的迁移阶段和步骤,以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成;步骤类型为“
所示。 图1 启动迁移Agent 图2 SMS迁移服务器列表 查看迁移实时状态 当主机工作流进行到“全量复制”和“增量同步”步骤时,如图3所示,单击资源的任务详情,可以直接跳转到SMS控制台的对应迁移任务详情页面,查看源端服务器详情、目的端配置信息、迁移状态以及错误信息提示等,如图4所示。
迁移时,单击操作列的“运行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入任务进度页签,可以查看该任务产生的运行实例以及迁移进度。 单击进度统计列的“查看”,进入进度详情页面,可以查看并导出任务结果。 父主题: 迁移实施
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
管理”页签,单击“创建项目”。 在弹出的窗口中,自定义项目名称,并根据实际需求,选择迁移类型,单击“确认”。创建项目成功,可在项目管理列表查看。 简单应用迁移:适用于应用数量少、应用与资源间依赖关系简单明确以及华为云跨可用区迁移等场景。 复杂应用迁移:适用于应用数量多、应用与资源间依赖关系复杂等场景。
/opt/cloud/Edge/scripts/ 执行如下命令,启动Edge。 ./start.sh 当出现如下图所示提示时,表示Edge已经启动。 执行如下命令,查看Edge进程。 ps -ef |grep edge 当出现如下图所示提示时,表示Edge进程已经启动。 父主题: Edge安装完成后,无法启动
条件。 分区上限:用于限制查询或处理的分区数量,避免不必要的全表扫描或处理大量不需要的数据。默认为3,取值范围:1~50。 例如,设置分区上限为3,系统只处理降序排序后分区列表中的前3个分区。 单SQL字段上限:每条SQL查询的表的字段上限。单SQL查询的字段数越多,执行时间越长
行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入任务进度页签,可以查看该任务产生的运行实例以及迁移进度。 单击状态列的“重新运行”,可以多次运行迁移实例。 单击进度统计列的“查看”,进入进度详情页面。可以查看迁移的数据表清单、状态并导出任务结果。 (可选)数据
您即将访问非华为云网站,请注意账号财产安全