检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景四:更新数据目录中的元数据,添加新元数据 ,并从数据目录中删除元数据 用户的数据库中数据表有删除的情况,采集任务能够删除数据目录中对应的数据表。 例如数据库删除table1的情况下: 采集前的数据表元数据:table1,table2,table3 采集后的数据表元数据:table2,table3
数据服务API API管理接口 申请管理接口 消息管理接口 授权管理接口 服务目录管理接口 网关管理接口 应用管理接口 总览接口 集群管理接口
通过ID获取路径 功能介绍 通过ID获取路径。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/servicecatalogs/{catalog_id}/paths 表1 路径参数 参数 是否必选 参数类型 描述 project_id
STRING); 不同数据源的SQL语法有所差异,开发SQL语句前请预先了解各数据源的语法参考文档。 表3 数据表参数 参数 说明 数据连接类型 数据表所属的数据连接类型。 数据连接 数据表所属的数据连接。 数据库 数据表所属的数据库。 单击“保存”,新建数据表。 相关操作 查看表
0,100)。 数据表 表评分计算公式:∑(表关联的所有规则评分*规则权重)/∑规则权重 数据库 数据库下所有数据表评分的加权求平均值,即:∑数据库下所有数据表评分/表的数量。 数据连接 数据连接下所有数据库评分的加权平均值,即:∑数据连接下所有数据库的评分/数据库的数量。 在DataArts
html手动生成签名后,再使用API工具调用。 (推荐)通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 推荐使用APP认证+SDK调用方式,帮助您简单、快速地通过数据API获取到开放数据。 IAM认证 中 通过IAM应用或白名单将API授权给账号后,借助从I
接返回由数据源动态脱敏后的数据,保护敏感数据不被泄露。 数据水印 数据安全支持将水印标记嵌入到原始数据,保证数据的可用性。加入水印后的数据具有透明性、可用性、隐蔽性,不易被外部发现破解。数据泄漏后能够溯源水印标识,从而对安全事件精准定位追责。通过数据水印嵌入后的敏感数据一旦发生数
据,关联业务和技术元数据、全链路的血缘管理和应用。 数据地图 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者,提供方便快捷的数据搜索服务,拥有功能强大的血缘信息及影响分析。 在数据地图中,可通过关键词搜索数据资产,支持模糊搜索,快速检索,定位数据。
数据库名称:写入数据的数据库名称。 表名:写入数据的目的表。CDM暂不支持在DLI中自动创表,这里的表需要先在DLI中创建好,且该表的字段类型和格式,建议与待迁移数据的字段类型、格式保持一致。 导入前清空数据:导入数据前,选择是否清空目的表中的数据,这里保持默认“否”。 单击“下一步”进入字段
基于本领域数据治理的工作计划,利用数据专项技能,支撑数据代表完成数据Owner分配的各类数据治理工作。 数据架构师(Data Architects):数据架构师是领域数据治理工作在IT层面的代表。 开发和维护本领域的数据系统或子系统,确保数据在系统中得以记录,数据标准、数据质量规则、数据安全、主/参考数据管理、数据服务在系统中得以实施。
通过应用授权IAM认证方式API IAM认证方式的API当前支持应用和白名单两种授权方式,通过IAM类型应用授权仅能授权给当前账号,而通过白名单授权可授权给任意账号,请您根据使用场景任选一种方式进行授权。 通过IAM类型应用授权。IAM类型应用本质上是当前的华为账号,每个DataArts
数据目录API 业务资产接口 指标资产接口 统计资产接口 资产管理接口 资产分类接口 资产分级接口 资产信息 血缘信息 元数据采集任务接口 数据地图接口 标签接口
CDM集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务(如
不能在CDM迁移作业中配置“作业失败重试”参数,如有需要请在数据开发中的CDM节点配置“失败重试”参数。 创建并执行数据开发作业 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发” 。 在“作业开
通过路径获取ID 功能介绍 通过路径获取ID。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/servicecatalogs/ids 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
资源网段规划 资源名称 说明 私网网段示例 数据源网段 华为云数据源所属的VPC,各数据源VPC查看方式不同,具体方法请参考数据源官方文档。 192.168.0.0/24 中转VPC 用于连通数据源和资源组网络的中间桥梁,本方案中需要使用企业路由器中配置的当前租户下的虚拟私有云。
数据血缘方案简介 什么是数据血缘 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中
本身的用户身份无要求。 约束与限制 使用APP认证方式的API必须先通过应用授权才能调用。 APP认证方式的API只能授权给APP类型的应用。 如果对无认证方式的API进行应用授权,则系统会忽略此操作。 仅数据服务专享版支持重置APP类型应用的AppSecret。 仅DAYU Administrator、Tenant
当“规则类型”选择“自定义规则”,数据对象选择对应的数据库即可。 数据对象 在来源对象选择的数据表将和右侧目的对象的数据表做结果比较。选择配置的数据对账规则所应用到的表。 说明: 数据表与数据库强相关,基于已选择的数据库。数据库基于已建立的数据连接。 SQL 当“规则类型”选择“自定义规则”时,需
G)配置为4。 表每行数据大小为1MB以下的可以多并发抽取,超过1MB的建议单线程抽取数据。 是否写入脏数据:建议配置为“是”,然后参考图10配置相关参数。脏数据是指与目的端字段不匹的数据,该数据可以被记录到指定的OBS桶中。用户配置脏数据归档后,正常数据可以写入目的端,迁移作业不会因脏数据中断。