检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选) 您可以输入用于区分表组的说明。 参数配置完成后,单击“确认”按钮,创建表组完成。在表组列表,可以查看创建的表组信息。 表组创建完成后,即可导入数据表并加入表组。 导入数据表并加入表组
在增量数据校验中,如果通过Metastore查询,当分区数量超过30,000时,可能会因为将所有分区信息加载到内存中而导致内存溢出(OOM)。因此,使用MySQL作为元数据仓可以有效地解决这一问题。 不启用:系统通过MetaStore查询Hive表的分区信息。 启用:配置MySQL
按钮,上传至迁移中心。 上传成功后,单击任务框中,任务总数后的“查看”,进入任务列表页面,查看任务状态。 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。常见失败原因的处理方法请参考导入RVTools资源任务失败。
RGW(RADOS Gateway)服务的实际域名或IP地址。 <PORT>:Ceph RGW服务的实际访问端口号。 如果您要迁移的桶数据可以直接通过浏览器访问,请跳过步骤1,直接进行步骤2.操作。 查看源端桶是否已经设置了访问策略,命令格式如下: s3cmd info s3://<BUCKET-NAME>
型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。 说明(可选) 您可以输入用于区分表组的说明。 参数配置完成后,单击“确认”按钮,创建表组完成。在表组列表,可以查看创建的表组信息。 表组创建完成后,即可导入数据表并加入表组。 导入数据表并加入表组
0101 配置参数 *** 为空 查看评估推荐的服务器参数(镜像,磁盘)是否有遗漏,或联系MgC 技术支持人员,查看工作流数据库参数***是否为空。 SMS-Workflow.0102 配置参数 *** 有特殊字符 请联系MgC 技术支持人员,查看工作流数据库参数***是否有特殊字符。
DLI校验任务出现大量失败表 问题描述 创建并执行DLI校验任务时,出现大量失败表,查看MgC Agent(原Edge)日志报错信息如下: 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持,提高接口流控的阈值。 父主题: 大数据校验
出现该问题,是因为选择的目的端规格仅支持Linux镜像。 解决方法 重新选择支持Windows镜像的目的端规格。选择目的端规格后,可以在镜像下拉列表中,查看是否有符合的镜像类型。 父主题: 规格评估
作。 阿里云访问密钥(AK/SK)准备 准备一组源端阿里云账号的Access Key(AK)和Secret Key(SK),获取方法请参考查看RAM用户的AccessKey信息。 确保该AK/SK具备以下最小权限要求: 拥有OSS服务的只读权限:AliyunReadOnlyAccess
API凭证”查看。 集群ID的获取方法请参考获取MRS集群ID。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。 选择元数据管理,单击“库表清单”,进入库表清单页签。 单击“导入数据表”按钮,弹出导入数据表窗口。 单击“xlsx模板下载”,将导入模板下载到本地。打开模板填写对应信息后保存。
列表文件行数不超过10000 文件存储服务地址 输入源端文件系统的挂载地址。 存储类型为NAS_GFS时,文件存储服务地址可以填写主机名、域名、可选的子域、灵活的端口号和路径表示。 存储类型为NAS_NFS_V3_PROTOCOL和NAS_NFS_V3_MOUNT时,格式为: IP地址:/ IP地址:/ xxx
在创建元数据连接时,如果要使用“采集资源使用信息”功能和查看资源概览,需要为IAM账号的AK/SK添加MRS服务和DLI服务的只读权限(ReadOnly)。 阿里云访问密钥(AK/SK)准备 准备一组源端阿里云账号的Access Key(AK)和Secret Key(SK),获取方法请参考查看RAM用户的AccessKey信息。
列表文件行数不超过10000 文件存储服务地址 输入源端文件系统的挂载地址。 存储类型为NAS_GFS时,文件存储服务地址可以填写主机名、域名、可选的子域、灵活的端口号和路径表示。 存储类型为NAS_NFS_V3_PROTOCOL和NAS_NFS_V3_MOUNT时,格式为: IP地址:/ IP地址:/ xxx
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
如何查询MgC Agent(原Edge)当前版本? 查询Windows版本 进入MgC Agent的安装目录(默认为C:\Edge)。 双击version.txt文件,查看当前MgC Agent版本信息。 查询Linux版本 执行如下命令,进入MgC Agent安装目录。 cd /opt/cloud/Edge
服务 > Doris > 实例”,查看任一FE实例的IP地址。 数据库端口 填写连接到源端Doris数据库的连接端口。 数据库连接端口为Doris FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。
在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“更多>修改”,可以修改任务参数配置。 图5 元数据同步任务管理 单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务
C Agent(原Edge)上添加源端资源凭证。连接迁移中心后,资源凭证会同步至迁移中心。在MgC Agent上添加的凭证都会加密存储在您本地,同步时密码、密钥等凭证信息并不会上传至迁移中心。 在MgC Agent添加的资源凭证存储有效期为60天,超过60天后,凭证会过期,需要重新添加。
选择源端主机凭证,如未提前在MgC Agent上添加源端主机凭证,请前往MgC Agent控制台添加,并同步至迁移中心。 添加成功后,在主机资源列表,可以查看添加的主机资源。 添加数据库 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。
选择源端主机凭证,如未提前在MgC Agent上添加源端主机凭证,请前往MgC Agent控制台添加,并同步至迁移中心。 添加成功后,在主机资源列表,可以查看添加的主机资源。 添加数据库 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。 单击左侧导航栏的“源端发现>应用管理”,进入应用管理页面。