检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MaxCompute参数 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按项目筛选,在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
以下步骤以centos8为例。 启动脚本位置 在Edge安装目录下(默认为/opt/cloud/Edge) ./scripts/start.sh,启动脚本。 配置JVM参数 Edge安装目录下(默认为/opt/cloud/Edge),编辑. /tools/SecAs-1.2.29/bin/catalina
在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域,单击“查看血缘图”,进入血缘图页面。 通过数据库名、表名筛选需要查看的血缘图。如果进行了大数据校验,还可以通过校验批次进行筛选。 父主题: 血缘采集
导入应用关联文件 将您源端配置管理数据库中的应用关联信息,填入导入模板表格中,再将表格导入迁移中心,分析出应用间的依赖及关联关系。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击任务框
MaxCompute参数 非必填参数,一般为空。如有需要可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按项目筛选,在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
默认创建名称为“数据湖元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但
流任务。 连接成功后,您可以在迁移中心控制台进行以下操作: 创建资源采集任务:通过公网发现源端多种类型资源,支持对主机、容器、对象存储和数据库等资源进行深度采集。 创建主机迁移工作流:进行主机迁移,MgC提供高灵活、可定制的迁移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格。
证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 私有云 用户名/密码 输入源端私有云的登录用户名、密码。 数据库 用户名/密码 输入数据库的登录用户名、密码。 大数据-执行机 用户名/密码 输入大数据所部署主机的登录用户名、密码;网段限制填写网段地址,可以是单个IP地址或IP地址段。
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。
失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动创建相应的库。如果是整库迁移,通常只会创建一个库;而表迁移可能需要创建多个库。通常,DLI的库数量上限为10。如果D
Doris凭证。 数据库地址 填写连接到源端Doris数据库的Doris FE实例IP地址。 Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 数据库端口 填写连接到源端Doris数据库的连接端口。
默认创建名称为“元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。 须知: 元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。 并发线程数
ClickHouse连接 ClickHouse、阿里云云数据库ClickHouse和CloudTable(Clickhouse)组件配置参数。 创建源端统计任务时,选择源端MRS ClickHouse连接或阿里云云数据库ClickHouse连接。 创建目的端统计任务时,选择目的端MRS
MgC主机工作流资源与SMS迁移服务器列表之间的映射关系 MgC主机资源列表与SMS迁移服务器列表之间的映射关系,如下图所示。 列表字段映射关系参见下表: MgC主机资源列表 SMS迁移服务器列表 字段类型 主机名 服务器名称 源端主机的hostname IP地址 源端IP 源端主机的IP
BS中。 云备份(Cloud Backup and Recovery,CBR) 提供对云硬盘、弹性云服务器的备份保护服务。 镜像服务(Image Management Service,IMS 通过镜像创建弹性云服务器。 弹性云服务器(Elastic Cloud Server,ECS)
双击version.txt文件,查看当前Edge版本信息。 查询Linux版本 执行如下命令,进入Edge安装目录。 cd /opt/cloud/Edge 执行如下命令,可查看Edge的版本信息。 cat version.txt 父主题: 常见问题
本、可用性、性能、安全合规等需求,为您推荐最合适的华为云对应资源规格,通过规格评估确定迁移目的端。 当前支持规格评估的资源类型为:主机、数据库、对象存储、容器、中间件。 已绑定目的端的主机资源,无需进行规格推荐,可直接创建迁移工作流。 前提条件 已完成资源采集,并将采集的资源关联到应用。
ask/日期/任务实例ID/日志文件;内容校验结果存放路径为:obs://mgc01/test/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件 如果不指定文件夹(不填写),系统将在日志桶内自动创建一个名为“bigdata”的默认文件夹。 日志文件存放路径