检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的主机资源。 添加数据库 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在资源列表单击数据库或数据库的资源数量,进入资源列表页面的数据库页签。 单击“添加资源”按钮,弹出添加数据库窗口。 根据表2,填写相应参数。
采集持续时间,超过设置的时长即停止采集,单位为m(分钟)/h(小时)/d(天),取值范围≥1m,取整数。 config_path 是 填写集群配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下:
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
默认创建名称为“元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。 须知: 元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。 并发线程数
添加数据库资源 根据表2,填写相应参数。 表2 添加数据库参数配置说明 参数 说明 名称 用户自定义 采集设备 选择在源端注册并与迁移中心连接的Edge。 类型 选择“Oracle”。 IP 输入可以连接到源端Oracle数据库服务器的IP地址。 端口 源端Oracle 数据库监听端口。默认为1521。
”窗口。 图1 配置桶 根据表1,配置日志桶。 表1 日志桶参数配置说明 参数 配置说明 桶类型 支持并行文件系统和标准桶两种类型。 对象存储终端节点 填写日志桶所在区域的终端节点(Endpiont),获取方法请参见地区和终端节点。单击“校验”,获取桶列表。 桶名称 在下拉列表中,选择需要作为日志桶的桶名。
ClickHouse连接 ClickHouse、阿里云云数据库ClickHouse和CloudTable(Clickhouse)组件配置参数。 创建源端统计任务时,选择源端MRS ClickHouse连接或阿里云云数据库ClickHouse连接。 创建目的端统计任务时,选择目的端MRS
config_path 否 填写集群配置文件(yaml文件)的存储路径。或者在采集器的config目录下创建kube-config文件夹,并将集群配置文件放入,则config_path参数无需填写。配置文件存储路径为:<采集器安装目录>\config\kube-config\xxx
#Migration-proxy-end 日志目录准备 配置日志目录:脚本会默认使用 /var/log/update_hosts 作为日志存储目录。目录不存在的话,脚本会自动创建,如果需要更改日志存储路径,请修改脚本中的 LOG_DIR 参数的值。 检查日志目录权限:确保当前用户对日志目录有写入权限。如果权限不足,需要调整目录权限或选择其他路径。
日志目录准备 配置日志目录:脚本默认使用 C:\Users\Public\Hosts_Script_Logs 作为日志存储目录。目录不存在的话,脚本会自动创建,如果需要更改日志存储路径,请修改脚本中的 $logDir 变量的值。 检查日志目录权限:确保当前用户对日志目录有写入权限。如果权限不足,需要调整目录权限或选择其他路径。
建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 path 是 填写应用配置文件(yaml文件)的存储路径。 父主题: 采集器参数配置说明
Doris凭证。 数据库地址 填写连接到源端Doris数据库的Doris FE实例IP地址。 Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 数据库端口 填写连接到源端Doris数据库的连接端口。
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。
源详情窗口。 单击主机规格后的“更改规格”,可以修改目的端主机规格和镜像。 单击磁盘对应的目的端规格处的“更改规格”,可以修改目的端磁盘的存储类型和资源总用量(磁盘容量)。Linux主机的磁盘容量可以根据源端主机磁盘的实际使用量,进行缩容,即小于源端磁盘容量。更改磁盘规格后,系统
失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动创建相应的库。如果是整库迁移,通常只会创建一个库;而表迁移可能需要创建多个库。通常,DLI的库数量上限为10。如果D
口令短语。 ssl_client_certificate_key_file 否 填写证书与其私钥的串联文件(.pem)路径。如果证书的私钥存储在单独的文件中,则应将其与证书文件串联。 auth_source 否 填写MongoDB认证源。 times 是 设置采集次数,1≤取值范围≤1000。
卸载Linux版本 本文介绍卸载Linux版本Edge的方法。 操作步骤 执行如下命令,进入Edge安装目录中的scripts目录。 cd /opt/cloud/Edge/scripts/ 执行如下命令,启动Edge卸载脚本。 ./uninstall.sh 当出现如下图所示提示时,表示Linux版的Edge需要更新环境变量。
填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 在元数据采集区域,单击“查看库表清单”或“数据表”,进入库表清单页签。 单击“导入数据表”按钮,弹出导入数据表窗口。 单击“xls
建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 config_path 是 填写配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: