检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(字母和数字)”,也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可
badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true: 当子查询中数据不重复的情况下,执行关联子查询,不需要对子查询的结果去重。 当子查询中数据
MB。 单击“确认”,创建血缘采集任务完成。系统自动开始进行血缘采集。 单击“查看任务”,进入血缘采集页面,可以在任务列表中查看采集任务状态。 当任务状态为“已完成”时,单击页面右上角的“查看血缘”,可以查看血缘关系图。 父主题: 血缘采集
输入以下命令,查看采集器插件对应的pid。 ps -ef|grep java 输入以下命令后回车,停止采集器插件程序。 Kill -9 PID 输入以下命令,运行新建的启动脚本start.sh。 sh start.sh 查询正在运行的采集器插件的JVM参数。 输入以下命令,查看采集器插件的JVM参数。
shell 是 查询内核 sh getKernel.sh 无 功能类 getNetCards.sh /Edge/tools/plugins/collectors/rda-collector-server/shell 是 查询网卡信息 sh getNetCards.sh 无 功能类
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
采集任务不存在。 刷新采集任务列表查看采集任务是否存在。 采集项不存在。 刷新采集项列表查看采集项是否存在。 新增数据源失败。 请联系技术支持人员或提交工单。 数据源不存在。 刷新采集项列表查看数据源是否存在。 重新采集数据源失败。 刷新采集项列表查看该数据源是否存在,或联系技术支持人员。
选择服务,单击鼠标右键,可以查看该服务的技术架构图、服务依赖图和包含的微服务列表。 查看应用列表 在应用管理页面的应用列表,可以查看项目下的所有应用。通过应用列表可以查看应用名称、应用类型、所属业务领域、包含微服务数量以及依赖应用和被依赖应用数量等信息。 单击包含微服务列的数量,可以查看该应用所包含的微服务列表。
脚本执行限制:每次执行脚本时最多支持同时修改100台主机的hosts配置,以避免脚本执行时间过长。 脚本功能与使用场景详细说明参见下表。 脚本名 功能描述 使用场景 update_hosts_linux.sh 批量更新源端Linux主机的/etc/hosts文件。脚本会自动记录操作日志,提示异常信息,并生成操作总结。
当配置SQL队列连接时,填写SQL队列名称。 当配置通用队列连接时,填写通用队列名称。 创建目的端连接完成后,在连接管理页面,可以查看已创建的连接列表。如有需要,可以单击列表操作列的“修改链接”对连接配置进行修改。 父主题: 大数据数据迁移
脚本执行限制:每次执行脚本时最多支持同时修改100台主机的hosts配置,以避免脚本执行时间过长。 脚本功能与使用场景详细说明参见下表。 脚本名 功能描述 使用场景 update_hosts_win.ps1 批量更新源端Windows主机的hosts文件。脚本会自动记录操作日志,提示异常信息,并生成操作总结。
各地域VPC网络Endpoint信息请参考Endpoint对照表。 创建源端连接完成后,在连接管理页面,可以查看已创建的连接列表。如有需要,可以单击列表操作列的“修改链接”对连接配置进行修改。 父主题: 大数据数据迁移
规格评估 如何查看评估失败原因? 为什么不能手动选择主机规格和磁盘类型? 主机评估失败,没有匹配合适的规格,如何处理? 评估镜像失败,该规格不支持Windows镜像,如何处理? 支持规格评估的数据库类型 主机评估策略推荐逻辑说明
场景一: 由于元数据中的mtime(修改时间)属性引起的校验失败。当启用元数据保留迁移,且目的端存储为PFS桶时,如果源端对象的元数据包含mtime(修改时间),由于PFS桶中mtime代表最后修改时间,那么当源端对象迁移到目的端后实际修改时间晚于mtime,在这种情况下,系统
证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 私有云 用户名/密码 输入源端私有云的登录用户名、密码。 数据库 用户名/密码 输入数据库的登录用户名、密码。 大数据-执行机 用户名/密码 输入大数据所部署主机的登录用户名、密码;网段限制填写网段地址,可以是单个IP地址或IP地址段。
指定日期校验 Doris 全量校验 日级增量校验 小时级增量校验 Hbase 全量校验 指定时间校验 ClickHouse 全量校验 阿里云云数据库ClickHouse 全量校验 CloudTable(HBase) 全量校验 指定时间校验 CloudTable(ClickHouse)
"dli:database:explain", "dli:table:insertIntoTable", "dli:database:createDatabase",
大数据节点类型 用于迁移前评估 数据库(含深度采集) 采集项 说明 作用 id ID 用于迁移前评估 name 数据库名称 用于迁移前评估 connectAddress 连接地址 用于迁移前评估 dbType 数据库类型 用于迁移前评估 dbName 数据库名称 用于迁移前评估 dbVersion
失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动创建相应的库。如果是整库迁移,通常只会创建一个库;而表迁移可能需要创建多个库。通常,DLI的库数量上限为10。如果D
0101 配置参数 *** 为空 查看评估推荐的服务器参数(镜像,磁盘)是否有遗漏,或联系MgC 技术支持人员,查看工作流数据库参数***是否为空。 SMS-Workflow.0102 配置参数 *** 有特殊字符 请联系MgC 技术支持人员,查看工作流数据库参数***是否有特殊字符。 SMS-Workflow