检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在连接管理界面找到需要修改的连接: 删除连接:单击操作列的“删除”删除该连接,或者勾选连接后单击列表上方的“删除连接”来批量删除未被任何作业使用的连接。 编辑连接:单击该连接名称,或者单击操作列的“编辑”进入修改连接的界面,修改连接时需要重新输入数据源的登录密码。 测试连通性:单击操作列的“测试连通性”,直接测试已保存连接的连通性。
根据表guid可以获取表的详情信息,表的详情信息包含column的信息,也可以根据column的guid直接获取column的信息。 添加或修改资产 添加或修改资产。 删除资产 删除资产。 资产分类接口 表6 资产分类接口 API 说明 批量资产关联分类 批量资产关联分类:只支持对数据表的列和OBS对象添加分类。
Table表的字段偶尔显示不全,无法与目的端字段一一匹配,造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无Schema,每条数据的列数不固定,在字段映射界面CDM通过获取样值的方式有较大概率无法获得所有列,此时作业执行完后会造成目的端的数据不全。 这个问题,可以通过以下方法解决:
同步场景,支持的数据源请参见分库分表同步支持的数据源类型。 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体同步场景,支持的数据源请参见整库同步支持的数据源类型。 因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 不同CDM集群支持的数据源程度不一样,以实际为准。
的数据源类型。 本文介绍2.9.2.200版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源
支持的数据源类型。 本文介绍2.10.0.300版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源
作业)支持的数据源。 数据集成(离线作业)的数据连接来自于管理中心中适用组件已勾选“数据集成”的数据连接,离线集成作业支持的数据源详情请参见离线集成作业支持的数据源。 数据集成(实时作业)的数据连接来自于管理中心中适用组件已勾选“数据集成”的数据连接,实时集成作业支持的数据源详情请参见实时集成作业支持的数据源。
放。 中大型用户。 专享版数据服务拥有物理隔离的独立集群, 更丰富的特性。 满足内部API调用跟API开放,独立的出、入网带宽选择。 数据服务的共享版与专享版在功能上的异同点如下表所示。 表2 共享版与专享版数据服务功能差异 规格分类 规格描述 共享版 专享版 基本功能 精细化流控策略
需要通过多条规则的逻辑运算统一设置告警条件的表达式,此处无需设置,可在下一步的告警配置中统一设置。 配置规则的告警条件后,系统通过“告警参数”的值,结合告警条件进行真假判断,如果结果为真则进行告警。另外,除了单一告警表达式的结果,您还可以通过逻辑运算符组成更复杂的告警条件进行告警
X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 表3 请求Body参数
批量删除权限集成员。 1800 20 添加权限集的权限 添加权限集的权限。 1800 20 查询权限集的权限列表 查询权限集的权限列表。 3600 40 删除权限集的权限 删除权限集的权限。 1800 20 更新权限集的权限 更新权限集的权限。 1800 20 查询数据源可配置权限 查询数据源可配置权限。
是 数据表所属的数据库。系统默认。 模式 是 选择数据库的模式。 表描述 否 数据表的描述信息。 高级选项 否 提供以下高级选项: 选择数据表的存储方式 行存模式 列存模式 选择数据表的压缩级别 行存模式:压缩级别的有效值为YES/NO。 列存模式:压缩级别的有效值为YES/NO
X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 规则名称 secrecy_level_id
X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 规则名称 rule_ids
X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 规则名称 secrecy_level_id
计算数据表中指定字段的唯一值行数。 字段重复值 计算数据表中指定字段的重复值行数(当有多个不同的重复值时,以所有重复值个数的和作为该字段的重复值行数)。 多字段唯一性校验 HIVE、SparkSQL、DLI、DWS、GBASE、HETUENGINE 校验数据表中多个字段的组合是否唯一,最多支持10个字段的组合。
敏感数据分布接口 查询敏感数据发现概览结果(以分类和密级为单位) 父主题: 数据安全API
产入表需求的国有企业和上市公司提供参考。 第一步:入表形成原始资产 原始资产入表是将指系统建设及数据生成等所产生的成本费用以成本法入表,据此构成数据资源的初始资产价格。 系统建设是数据资产入表的前置条件。企业需要完成基础信息化建设,并对企业数据治理程度和数据管理能力做必要评估。此
可追溯性:数据的血缘关系,体现了数据的生命周期,体现了数据从产生到消亡的整个过程,具备可追溯性。 层次性:数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据,不同程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图如图1所示,为数据表对象,为
支持的数据源 实时集成作业支持的数据源如表1所示。 表1 实时集成作业支持的数据源 数据源分类 源端数据源 对应的目的端数据源 相关文档 关系型数据 MySQL Hadoop:MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统:DMS Kafka MySQL同步到Kafka作业配置