检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图4 查看节点血缘 在数据资产搜索结果中,图标为表格的数据资产为表,单击某一表名称,可以查看表的详情。在详情页面,可以查看表的血缘信息。 单击血缘图中表左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个表,可以查看该表的详情。 图5 查看表血缘 父主题:
MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? 问题描述 1. 运行migration mysql2dws链路的实时同步作业,DDL同步中对增加列操作设置为“正常处理”。 2. 在目的端DWS表有数据的场景下,源端MySQL执行DDL语句,添加带非空约束的列,默认值为空字符串,如:alter
级、分类以及数据状态。 确认:确认该条识别结果为有效状态,“未确认”或“无效”状态的规则可以进行确认操作。静态脱敏任务可以基于有效状态的识别规则进行脱敏。 忽略:确认该条识别结果为无效状态,“有效”状态的规则可以进行忽略操作。静态脱敏任务无法选择到未确认/无效状态的识别规则进行脱敏。
启用细粒度认证时,DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办? 可能原因 当前用户未同步至DWS数据源,或者不具备DWS Database Access权限。 解决方案 您可以通过同步用户重新将当前登录
T00:00:00Z。 状态码:400 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码:401 表10 响应Body参数
详情:使用数据地图根据表名直接查看表详情,快速查阅明细信息,掌握使用规则。 血缘:通过数据地图的血缘分析可以查看每个数据表的来源、去向,并查看每个表及字段的加工逻辑。 父主题: 查看工作空间数据地图
在数据开发子模块中,新建的DLI SQL脚本默认队列是一个已删除的队列,怎么处理? 问题描述 新建的DLI SQL脚本默认队列是一个已删除的队列。 图1 DLI SQL脚本 问题分析 新建的DLI SQL脚本队列显示的逻辑是这样的,在该工作空间,上一次使用DLI SQL脚本或打开DLI
启用细粒度认证后,在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办? 可能原因 数据开发用户不具备DWS Database Access权限。 解决方案 为数据开发用户添加DWS Database Access权限后,再次尝试选择数据库。
迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理? 问题描述 迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with
has been reached: policy user over ratelimit,limit:60,time:1 minute.”怎么处理? 问题描述 DataArts Studio作业调度MRS spark作业报错:"The throttling threshold has
在“运维调度 > 作业监控”界面确认作业的调度状态是否是调度中,只有调度中的作业到了调度周期后才会调度。 图1 查看作业调度状态 如果作业有依赖于其他作业,在“运维调度 > 实例监控”界面,查看依赖作业的运行状态。如果作业有自依赖,扩大搜索时间窗口,查看是否当前作业历史实例失败,导致作业在等待运行,而没有生成新作业实例。
问题案例总览 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? 如何配置Hudi Compaction的Spark周期任务? MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤?
数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤?
通过数据目录查看数据血缘关系 数据血缘方案简介 配置数据血缘 查看数据血缘 父主题: 数据目录典型场景教程
createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”? 问题描述 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项
查看数据质量报告 您可以查询业务指标、数据质量中数据对象的质量评分,来判断各个对象是否质量达标。 质量报告的数据保留最近90天的结果。 查看质量报告包含技术报告和业务报告。 技术报告的统计范围是依据质量作业的运行结果,包含数据连接、数据库、表名、评分等信息。 业务报告的统计范围是
度运行状态概览 通过时间和责任人可以筛选出近七天的我的或者全部责任人的作业实例调度运行状态概览 单击运行状态,可以跳转到实例监控界面,查看该运行状态的所有作业的详细信息。 此处的统计数据包含实时作业的运行实例监控数据。单击运行状态后,实时作业不能跳转到实例监控页面,只能查看批作业的运行实例监控详情。
查询技术资产 功能介绍 查询技术资产。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/asset/entities/search 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
单击“运维管理”,进入作业实例列表界面,找到对应的作业实例。待实例运行完成后,单击“结果&日志”,在“运行结果”页签,可查看该质量作业的运行结果,即待统计表的总行数。 图6 查看表的总行数 统计数据库大小 您可以直接在数据目录组件中查看数据库大小。 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
过筛选来查询对应的操作事件。 其中,DataArts Studio的相关事件在“事件来源”中包含如下分类: CDM:数据集成组件的事件。 DLF:数据开发组件的事件。 DLG:管理中心、数据架构、数据质量、数据目录和数据服务组件的事件。 图1 CDM操作事件 在需要查看的事件左侧