检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据桶的实际类型选择。桶类型可以通过查看桶的基本信息获取。 数据站点类型为华为云OBS时选择。 appID 填写腾讯云APPID。 说明: 您可以在腾讯云控制台账号信息页面查看APPID。 数据站点类型为腾讯云COS时填写 鉴权类型 鉴权类型的选择支持以下两种: 连接字符串。 存储账户名称+密钥。
客户端,进行sql操作,出现用同一个命令存在返回值不同的情况。 这是因为在进行大数据对数的求和计算时,由于分布式计算顺序的不确定性,可能会导致计算结果的不一致性。特别是处理接近或等于double类型最大值(1.7976931348623157E+308)的数据时,加上一个较小的数值(如2.0)可能会导致数
档进行配置。 数据范围 按库筛选 即按数据库进行筛选,在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。
新增大数据校验数据连接时,凭证列表数据缺失 问题描述 进行大数据校验,在新增连接时,凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题,可能的原因如下: 凭证添加错误:在MgC Agent(原Edge)添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败:在MgC
大数据迁移后数据校验 MaxCompute迁移至DLI数据校验 MRS ClickHouse迁移至MRS ClickHouse数据校验 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至MRS ClickHouse数据校验
新增大数据校验数据连接时,凭证列表数据缺失 问题描述 进行大数据校验,在新增连接时,凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题,可能的原因如下: 凭证添加错误:在MgC Agent(原Edge)添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败:在MgC
档进行配置。 数据范围 按库筛选 即按数据库进行筛选,在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。
式的混合场景。迁移中心 MgC利用部署在源端网络中的MgC Agent完成数据采集。 数据采集架构图,如图1所示。 图1 MgC Agent远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景,针对不同云服务提供商(友商)的云资源进行数据采集。使用API接口
新增数据表参数说明 参数 说明 元数据连接 根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径(可选) 元数据连接为Delta时,为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径(可选) 元数据连接为Delta(无元数据)时,为必填项。
根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径(可选) 元数据连接为Delta时,为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径(可选) 元数据连接为Delta(无元数据)时,为必填项。 输入目的端数据表在数据库中的存放路径。
通过迁移中心提供的TCO对比功能,可以自动完成源端云厂商消费账单分析以及和华为云的成本分析和比较,从而为您云间迁移提供参考。 应用关联分析 通过采集注册中心、配置中心、CMDB等平台,获取微服务间调用关系。配置更多采集项,可以更准确的分析出应用与应用间、应用与数据间调用的拓扑关系,提高迁移分组实施效率。
大数据数据迁移 数据迁移失败,提示超过DLI网管流控上限 部分表迁移失败,报错:CRC Check failed 部分表迁移失败,报错:no more field nodes for for field %s and vector %s
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题: 旧版
单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当数据湖元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 数据湖元数据采集完成后,在元数据列表单击血缘列的“去采集”,可以创建血缘采集任务。
单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当数据湖元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 数据湖元数据采集完成后,在元数据列表单击血缘列的“去采集”,可以创建血缘采集任务。
大数据迁移概述 迁移场景 将阿里云 MaxCompute数据迁移至华为云数据湖探索(DLI)。 数据迁移原理图 图1 大数据数据迁移原理图 迁移操作流程 图2 大数据数据迁移流程图 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
行配置。 数据范围 按库筛选 即按数据库进行筛选,在数据库参数框中输入需要增量迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。
14:50(现在)的增量元数据。 MaxCompute参数(可选) 非必填参数,一般为空。如有需要可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选,在数据库参数框中输入需要增量待迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。
单击左侧导航栏的“调研>应用管理”,进入应用管理页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在应用列表,单击应用名称,进入应用详情页面。 为需要进行性能采集的主机配置采集设备和凭证。 如果性能采集列的“开始”按钮置灰,将鼠标移动到“开始”按钮处,在弹出的提示框中,单击“去配置”,弹出配置窗口。
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。 单击左侧导航栏的“源端发现>应用管理”,进入应用管理页面。 在应用列表,单击应用名称,进入应用详情页面。 在主机资源列表,为需要进行性能采集的主机绑定MgC Agent和凭证。 如果性能采集列的“开始”按钮置灰,将鼠标移动