检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
权限要求:需要使用具有最高权限的账号进行数据库采集,以确保能够访问所有必要的数据。对于不同的数据库系统,应使用以下账号: MySQL:使用root账号。 PostgreSQL:使用postgres账号。 MongoDB: 使用admin权限账号。 Oracle:使用system权限账号。
Lake执行机凭证。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 Spark客户端目录 填写Spark客户端的bin目录的绝对路径 环境变量地址 请添加环境变量文件的绝对路径,示例:/opt/bigdata/client/bigdata_env,
最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。
在Edge侧添加的目的端MRS执行机凭证。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录 填写MRS客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。
由浅入深,带您玩转MgC 01 了解 迁移中心(Migration Center)是华为云一站式迁移和应用现代化建议、改造平台,为用户提供简单、快速、可视化的上云迁移服务。 产品介绍 什么是MgC 产品优势 产品功能 权限管理 约束与限制 应用场景 03 使用 通过采集源端资源,准确的分析出应
ClickHouse连接 ClickHouse、阿里云云数据库ClickHouse和CloudTable(Clickhouse)组件配置参数。 创建源端统计任务时,选择源端MRS ClickHouse连接或阿里云云数据库ClickHouse连接。 创建目的端统计任务时,选择目的端MRS
容器资源需要完成深度采集后,才可以进行迁移方案设计。 中间件、数据库、存储等资源可直接进行迁移方案设计。支持对AWS RDS(包括MySQL、MariaDB、Aurora、PGSQL、SQLServer、Oracle)和AWS DocumentDB数据库进行深度采集,以获取数据库更详细的信息。 对象
容器资源需要先完成深度采集,再进行迁移方案设计。 中间件、数据库、存储等资源可直接进行迁移方案设计。支持对AWS RDS(包括MySQL、MariaDB、Aurora、PGSQL、SQLServer、Oracle)和AWS DocumentDB数据库进行深度采集,以获取数据库更详细的信息。 对象
Edge主机无法信任源端主机 请在安装Edge的主机上通过运行以下命令,将远程计算机添加为客户端上的受信任主机: set-item wsman:localhost\\client\\trustedhosts -value * Linux版Edge错误码 错误码 描述 处理方法 EDGE.00261001
HBase凭证,类型选择“大数据-HBase”,认证方式选择“用户名/密钥”。凭证的添加方法请参考添加资源凭证。其中用户名输入HBase客户端登录用户名,密钥需要上传以下配置文件: 非安全集群(未开启Kerberos认证)需要上传core-site.xml,hdfs-site.xml,yarn-site
表2 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 ClickHouse凭证 选择在Edge添加的源端阿里云云数据库ClickH
Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接 阿里云云数据库ClickHouse连接 您还可以通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建元数据连接。 操作步骤
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true:
"dli:database:explain", "dli:table:insertIntoTable", "dli:database:createDatabase",
信息获取,对应参数为“集群访问地址”。 创建阿里云云数据库 ClickHouse统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤16.创建的表组。 任务类型请选择大数据组件中的“阿里云云数据库 ClickHouse”。 统计方式仅支持“全量校验”。
全部配置”,搜索“https_port”参数获取。 创建阿里云云数据库 ClickHouse统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤16.创建的表组。 任务类型请选择大数据组件中的“阿里云云数据库 ClickHouse”。 统计方式仅支持“全量校验”。
GetInstanceList调试,并根据返回的错误码定位问题原因,或联系阿里云技术支持人员。 调用阿里云RDS SDK失败。 请检查所用凭证和所选区域是否正确,或检查凭证所属账号是否开通阿里云RDS服务。 调用阿里云RDS schema SDK失败。 请参考阿里云资源管理产品文档进行API Descri
bat,其中rda-collector-server可替换其他采集器的目录,目前包含采集器: 数据库采集器 :rda-collector-database。 容器采集器 :rda-collector-kubernetes。 平台采集器 :rda-collector-platform。 主机采集器
file path: Records detailed information about the script's execution. RUN_LOG="$LOG_DIR/run.log" # Error log file path: Records any errors that
sh 无 功能类 getNetCards.sh /Edge/tools/plugins/collectors/rda-collector-server/shell 是 查询网卡信息 sh getNetCards.sh 无 功能类 getNetcardsInfo.sh /Edge/to