检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目前支持数据湖探索(DLI)、数据仓库服务(DWS)和MapReduce服务(MRS Hive)。 *数据连接 选择已在管理中心组件创建的数据连接。若未创建请参考创建DataArts Studio数据连接新建连接。 *SQL队列 数据源类型为DLI时,需要选择DLI SQL队列。 *数据库
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时,源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务(DWS)连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
配置增量元数据采集任务 配置、运行采集任务是构建数据资产的前提,下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。 场景一:仅添加新元数据 用户的数据库中新增的数据表,采集任务仅采集新增的表。 例如新增table4的情况下: 采集前的数据表元数据:table1,table2,table3
UUID类型 JSON类型 对象标识符类型 类型 是 选择数据类型,具体说明请参见《数据仓库服务开发指南》的数据类型。 列描述 否 填写列的描述信息。 是否建ES索引 否 单击复选框时,表示需要建立ES索引。建立ES索引时,请同时在“CloudSearch集群名”中选择建立好的C
问题? 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入,但并无脏数据。这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 数据集成(CDM作业)
数据目录如何可视化展示数据血缘? 数据血缘在数据目录中展示,首先要完成元数据采集任务,其次数据开发作业中要包含支持自动血缘解析的节点类型和场景,或者在作业节点中已自定义血缘关系的输入表和输出表。当存在运行成功的数据开发作业调度任务时,系统会生成作业中的血缘关系,并在数据目录中进行可视化展示。
数据治理框架 数据治理框架 数据治理模块域 数据治理各模块域之间的关系
针对当前已有的表;而对于权限同步后再创建的新表(以下简称未来表),该用户依然没有权限,需要在角色/权限集中再次手动进行 权限同步后,才能确保该用户具备未来表的相应权限。 为了解决未来表权限需要手动同步的问题,您可以通过未来表权限为指定Schema配置未来表的建表用户。当这些用户在
术支持人员。 前提条件 已在管理中心创建数据仓库服务(DWS)、数据湖探索(DLI)、MapReduce服务(MRS Hive)和RDS MySQL类型的数据连接,请参考创建DataArts Studio数据连接。 AI识别结果同步前,需要在数据目录组件对数据进行过元数据采集,详见元数据采集任务,否则会导致同步失败。
实例。 说明: 重跑的作业可能与正常调度的作业同时运行,需要确认作业是否支持并发执行;如果作业中节点个数或者名称发生变化,就会从第一个节点开始重跑。如果重跑成功状态的作业实例,就会从第一个节点开始重跑。 重跑作业实例时,需要选择“使用的作业参数”和“是否忽略OBS监听”。 使用的
补数据监控 在数据开发模块控制台的左侧导航栏,选择“运维调度 > 补数据监控”,进入补数据的任务监控页面。 用户可以在图1的页面中,查看补数据的任务状态、业务日期、并行周期数、补数据作业名称、创建人、创建时间以及停止运行中的任务。系统支持按补数据名称、创建人、日期和状态进行筛选。
数据密级”,用户可以在该页面新建、管理和删除分级,也可以调整分级的优先级。 创建分级:单击“数据密级”页签左上角的“新建”,输入名称和描述。 删除:在“数据密级”页签,勾选不需要的分级,单击左上角的“删除”。 调整优先级:在“数据密级”页签,单击相应分级后的上移(提高优先级)和下移(降低优先级)。 父主题: 配置数据安全策略(待下线)
修改数据库模式:在脚本开发导航栏,选择,展开下方的数据连接至需要修改的数据库模式,右键单击数据库模式名称,选择“修改”后,在弹出的页面中修改数据库模式的信息。 删除数据库模式:在脚本开发导航栏,选择,展开下方的数据连接至需要删除的数据库模式,右键单击数据库模式名称,选择“删除”后,在弹出的页面中单击“确定”完成删除。
查看工作空间内的数据资产 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者,提供方便快捷的数据搜索服务,拥有功能强大的血缘信息及影响分析。 搜索:在进行数据分析前,使用数据地图进行关键词搜索,帮助快速缩小范围,找到对应的数据。 详情:使用
数据质量API 目录接口 规则模板接口 质量作业接口 对账作业接口 运维管理接口 任务实例接口 质量报告接口 导入导出接口
配置DataArts Studio数据连接参数 DWS数据连接参数说明 DLI数据连接参数说明 MRS Hive数据连接参数说明 Apache Hive数据连接参数说明 MRS HBase数据连接参数说明 MRS Kafka数据连接参数说明 MRS Spark数据连接参数说明 MRS
Administrator系统角色有权限进行如下操作: 配置空间权限集 配置行级权限访问控制 同步用户 配置空间资源权限 配置细粒度认证 配置队列权限 如需配置安全管理员,则需要以具有DAYU Administrator系统角色权限的账号登录数据安全总览页面,选择某个IAM子用户或者用户组(选择用户组时,则该用户组
数据架构中的指标与数据质量的指标的区别? 问题描述 数据架构中的指标与数据质量的指标的区别,需要具体说明一下,便于用户理解。 解决方案 数据架构中指标侧重业务维度,用来衡量目标总体特征的统计数值;数据质量中指标侧重监控维度,用来管理所有业务指标,包括指标的来源、定义等。 注意,数
分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行可开启。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数,适当的抽取并发数可以提升迁移效率,配置原则请参见性能调优。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清