检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 表7 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认创建名称
1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。
”窗口。 图1 配置桶 根据表1,配置日志桶。 表1 日志桶参数配置说明 参数 配置说明 桶类型 支持并行文件系统和标准桶两种类型。 对象存储终端节点 填写日志桶所在区域的终端节点(Endpiont),获取方法请参见地区和终端节点。单击“校验”,获取桶列表。 桶名称 在下拉列表中,选择需要作为日志桶的桶名。
password 是 填写登录用户名对应的密码。 username 是 填写RabbitMQ管理插件登录用户名。 server_port 是 填写RabbitMQ服务端口。例如:5672 plugin_port 是 填写RabbitMQ管理插件端口。例如:15672 host 是 填写连接
7及以上版本:/var/lib/mysql/ 如果是云数据库,请参考各云厂商数据库的说明文档: 华为云 云数据库RDS 阿里云 云数据库RDS exclude_ip 否 填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127.0.0.1,192.168.1.1 password 是 填写登录用户名对应的密码。
MaxCompute凭证输入源端阿里云账号的AK/SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶,并将数据迁移过程中所依赖的 Java 文件(jar包)上传至该OBS桶。创建OBS桶的方法请参考创建桶。上传文件的方法请参考上传对象。
auth参数值为“1”时,填写Redis访问密码。 mode 是 填写Redis部署模式。 0表示单机 1表示集群 auth 是 Redis认证方式。 0表示无认证 1表示密码认证 port 是 填写Redis端口。 host 是 填写Redis节点IP地址。 父主题: 采集器参数配置说明
义采集规则,请在默认规则文件基础上进行修改。 password 是 填写登录用户名对应的密码。 username 是 填写拥有可读权限的登录用户名。 port 是 填写Nacos的访问端口。例如:8848 ip 是 填写Nacos的访问地址。例如:http://127.0.0.1
内。 更新时间:指分区内数据最后一次被修改或更新的时间戳。如果您关心的是分区内数据的最新状态或最近一段时间内的数据变更,可以选择“更新时间”作为筛选条件。 创建时间:指分区被首次创建时的时间戳。如果您关心的是分区从创建开始到某个时间点内的数据,可以选择“创建时间”作为筛选条件。
服务器ECS的权限(AliyunECSReadOnlyAccess)”。 是 区域 选择源端主机所在区域,支持多选。 是 资源发现 云平台采集 开启云平台采集,并在资源类型下拉列表,勾选“主机”资源。 是 关联到应用(可选) 应用是资源分组的概念,将资源关联到应用,后续的评估推荐
迁移中心上线公测 迁移中心(Migration Center, MgC)是华为云一站式迁移和现代化平台,承载华为云迁移方法论和最佳实践,可以帮助您轻松完成上云,该平台既提供快速平迁能力,也提供应用现代化建议和改造能力。 公测 什么是迁移中心
目的端所在区域的项目。 虚拟私有云 若源端IP是192.168.X.X,则推荐创建的VPC网段是192.168.0.0/16,同时创建一个子网,网段也是192.168.0.0/16。 若源端IP是172.16.X.X,则推荐创建的VPC网段是172.16.0.0/12,同时创建一个子网,网段也是172
使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”
可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数:
规格数量 名称 描述 ECS 是 是 Master节点:1台 迁移节点:根据创建集群时的参数配置创建 列举节点:根据创建集群时的参数配置创建 “oms_cluster_ecs_” + 节点id 承载迁移插件,实现对迁移任务的管理、调度以及数据的迁移。 NAT 是 否 1个 “oms_cluster_nat_”
目的端所在区域的项目。 虚拟私有云 若源端IP是192.168.X.X,则推荐创建的VPC网段是192.168.0.0/16,同时创建一个子网,网段也是192.168.0.0/16。 若源端IP是172.16.X.X,则推荐创建的VPC网段是172.16.0.0/12,同时创建一个子网,网段也是172
参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否 任务配置 源端 选择源端云平台,目前支持的云平台有阿里云、华为云、AWS、腾讯云、Azure、七牛云、金山云。 是 凭证 选择源端对应的凭证,如未提前添加凭证,请单击“新建凭证”,填写相应参数,校验并保存凭证。
填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 在元数据采集区域,单击“查看库表清单”或“数据表”,进入库表清单页签。 单击“导入数据表”按钮,弹出导入数据表窗口。 单击“xls
t的顺序对应输入),若某个服务器无密码,用空格代替。例如:password1, ,password2 endpoint 是 填写Eureka服务器地址,如果是集群,地址之间用逗号分隔。例如 : http://ip1:port1,http://ip2:port2 如果开启了用户认证
auth参数值为“2”或“3”时,填写Kafka登录用户名。 auth 是 Kafka认证方式。 0表示无认证 1表示PLAINTEXT认证 2表示SASL_PLAINTEXT认证 3表示SASL_SSL认证 endpoint 是 填写Kafka连接地址。例如:127.0.0.1:9092 父主题: