检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MongoDB采集器(app-discovery-mongodb) MySQL-generallog采集器(app-discovery-mysql-generallog) MySQL-jdbc采集器(app-discovery-mysql-jdbc) Nginx配置文件采集器(app-discovery-nginx)
要的数据。对于不同的数据库系统,应使用以下账号: MySQL:使用root账号。 PostgreSQL:使用postgres账号。 MongoDB: 使用admin权限账号。 Oracle:使用system权限账号。 SQL Server:使用sa账号。 采集原理:连接数据库,基于数据库的查询语句进行采集。
据写入的分区。 spark.sql.files.maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated
据写入的分区。 spark.sql.files.maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated
MySQL凭证:选择访问MySQL数据库的认证信息。认证信息需要添加到Edge然后同步到MgC,方法请参考添加资源凭证。 MySQL节点IP:输入MySQL数据库服务器的IP地址。 MySQL服务端口:输入MySQL数据库服务的端口号。 数据库名:输入存储Hive表元数据的数据库名称。
MySQL凭证:选择访问MySQL数据库的认证信息。认证信息需要添加到Edge然后同步到MgC,方法请参考添加资源凭证。 MySQL节点IP:输入MySQL数据库服务器的IP地址。 MySQL服务端口:输入MySQL数据库服务的端口号。 数据库名:输入存储Hive表元数据的数据库名称。
编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。
选择绑定的目的端必须关机,如果需要绑定的目的端处于开机状态,请关机后再绑定。 迁移工作流将使用所绑定的目的端作为迁移的目的端,迁移过程中该目的端主机会被格式化,然后将源端数据迁移到该主机。 如果后续主机迁移工作流是公网迁移,所绑定目的端主机需要能访问公网。 选择绑定的目的端主机所在区域需要与源端主机关联的应用处于同一区域。
选择绑定的目的端必须关机,如果需要绑定的目的端处于开机状态,请关机后再绑定。 迁移工作流将使用所绑定的目的端作为迁移的目的端,迁移过程中该目的端主机会被格式化,然后将源端数据迁移到该主机。 如果后续主机迁移工作流是公网迁移,所绑定目的端主机需要能访问公网。 选择绑定的目的端主机所在区域需要与源端主机关联的应用处于同一区域。
MySQL凭证:选择访问MySQL数据库的认证信息。认证信息需要添加到MgC Agent然后同步到MgC,方法请参考添加资源凭证。 MySQL节点IP:输入MySQL数据库服务器的IP地址。 MySQL服务端口:输入MySQL数据库服务的端口号。 数据库名:输入存储Hive表元数据的数据库名称。
文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业 需要提前导出SQL作业,并上传到华为云OBS桶,再将桶的读写权限委托给迁移中心。 血缘模板 需要下载血缘模板,并填写相应数据。 父主题: 血缘采集
QcloudMongoDBReadOnlyAccess SQLServer sqlserver:DescribeDBInstances sqlserver:DescribeReadOnlyGroupList QcloudSQLServerReadOnlyAccess 存储 COS cos:GetService
MySQL凭证:选择访问MySQL数据库的认证信息。认证信息需要添加到MgC Agent然后同步到MgC,方法请参考添加资源凭证。 MySQL节点IP:输入MySQL数据库服务器的IP地址。 MySQL服务端口:输入MySQL数据库服务的端口号。 数据库名:输入存储Hive表元数据的数据库名称。
文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业 需要提前导出SQL作业,并上传到华为云OBS桶,再将桶的读写权限委托给迁移中心。 血缘模板 需要下载血缘模板,并填写相应数据。 父主题: 血缘采集
"obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider:填写tunnel。 spark.sql.catalog.mc_catalog.tableReadProvider:填写tunnel。
"obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider:填写tunnel。 spark.sql.catalog.mc_catalog.tableReadProvider:填写tunnel。
填写连接执行机的端口,默认为22端口。 安装目录 填写MRS客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。
"obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider:填写tunnel。 spark.sql.catalog.mc_catalog.tableReadProvider:填写tunnel。
"obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider:填写tunnel。 spark.sql.catalog.mc_catalog.tableReadProvider:填写tunnel。
上游组件类型(SourceComponentType) 作业ID(JobId) 须知: 模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。