检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据输出,不支持质量评分。 自定义规则:在创建质量作业时,“规则类型”选择为“自定义规则”,然后您可以通过输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 SQL语句可以包含同一数据库下的多张表,但不同数据库的表无法共存。 本文以新建自定义模板为例,说明如何创建规则。如
监测度量各业务/IT部门的数据治理情况,持续推进各部门的数据治理水平提升,进而提高整体数据治理成熟度。 年度进行的整体数据治理成熟度评估,可以结合主观及客观调查度量,综合反映企业当前数据治理成熟度水平,帮助制定切实可行的数据治理整体目标。季度性实施的数据治理评分卡是一个重要的工具
多种数据源间的数据同步 支持多种数据源链路组合,您可以将多种输入及输出数据源搭配组成同步链路进行数据同步。详情请参见支持的数据源。 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库等多种环境下的数据同步。在配置同步任务前,您可以根据数据库所在网络环境,选择合适的同步解决
并进行角色/权限集管理。 前提条件 为成员添加或删除所在的角色/权限集前,已完成权限集或角色的配置,请参考配置权限集或配置角色。 约束与限制 仅DAYU Administrator、Tenant Administrator、数据安全管理员或者角色/权限集管理员可以为成员添加或删除所在的角色/权限集。
通过回收站功能,您可以恢复误删的数据安全关键数据。当前综合数据的重要程度、使用频次以及误删后恢复难易程度等各方面因素考虑,定义数据安全的关键数据为权限集(包含空间权限集、权限集以及通用角色)和动态脱敏策略。 前提条件 回收站中的数据依赖于权限集(包含空间权限集、权限集以及通用角色)和动态脱敏策略在30天内的删除操作。
企业模式下,进行同步时,可以选择同步到生产环境或开发环境。默认同步到生产环境,不勾选则无法同步。 图1 同步维度表 确认无误后,单击“确认提交”,完成后界面将显示同步结果。 同步后,您可以在维度表列表中,查看维度表的同步状态。单击列表右上方的刷新按钮,可以刷新状态。您可以切换生产环境和开发环境查看同步结果。
数据安全治理维度 根据DSMM评估模型,可以从组织建设、制度流程、技术工具、人员能力四个维度开展数据安全治理能力建设工作。 图1 数据安全能力建设工作 组织建设 数据安全组织架构是数据安全治理体系建设的前提条件。通过建立专门的数据安全组织,落实数据安全管理责任,确保数据安全相关工作能够持续稳定的贯彻执行。
API工作流程编排能力,您可以按照业务逻辑,以串行、并行等结构组合多个API为工作流,然后通过入口API调用API工作流,最终返回所需数据。 API编排使得业务流程的设计和优化变得更加直观和高效,同时也为二次开发提供了更便捷的方式。您可以在如下场景中可以使用API编排,简化开发工作:
Studio数据开发模块支持以事件触发的方式运行作业,因此通过DIS或者MRS Kafka作为作业依赖纽带,可以跨空间实现作业调度。 如下图,工作空间A中的job1运行完成后,可以使用DIS Client或Kafka Client发送消息触发中继作业job_agent;job_agent配置事件触发调度,根据DIS
准备数据集数据。您可以通过以下方式之一获取数据集: 您可以将表1数据导入到DLI表中,然后将SQL脚本读取的结果作为数据集。 您可以将表1数据保存在OBS的CSV文件中,然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件,然后将OBS外表查询的结果作为数据集。DLI创
运行就会生产一个作业实例。如果实时作业里面包含了配置周期调度或事件触发调度节点,可以通过此接口查询节点所关联的子作业的实例列表,参数jobName格式为[实时作业名称]_[节点名称]。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET
准备数据集数据。您可以通过以下方式之一获取数据集: 您可以将表1数据导入到DLI表中,然后将SQL脚本读取的结果作为数据集。 您可以将表1数据保存在OBS的CSV文件中,然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件,然后将OBS外表查询的结果作为数据集。DLI创
参数设置 *权限集名称 标识权限集,实例下唯一。 建议名称中包含含义,避免无意义的描述,以便于快速识别所需权限集。 *父权限集 选择对应的父权限集,父权限集可以是空间权限集或其他权限集。注意选择父权限集后,当前权限集的权限也为其父权限集的子集。 *管理员 管理员为当前权限集的负责人,具
在新建表或编辑表时,进入“表字段”标签页,在字段所在行的“标签”列,单击按钮可以添加标签,在弹出框中,您可以输入新的标签名称后按回车,也可以在下拉列表中选择已有标签。 关联质量规则 完成表的新建后,您可以在表中为字段关联质量规则,完成关联后,当表发布成功后,就会在DataArts
购买后,系统不会自动分配云资源。 使用中的按需资源包不支持退订,详情可查看不可退订。 使用期限或使用量到期后,还可以继续使用云资源,超出部分按需计费。 适用于使用期限不固定、但需要长期使用云资源的客户,可以享受套餐包的低资费。 批量数据迁移增量包 数据集成资源组增量包 变更配置 在购买DataArts
由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对等连接,可能会出现对端VPC子网与CDM管理网重叠,
购买方式请参见:套餐包方式购买数据服务专享集群的增量包。 背景信息 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。 数据集成CDM集群可以在DataArts Studio控制台以增量包的形式购买,也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面:
审批人默认来自权限集/角色的管理员。例如,如果空间权限集、权限集A和角色B中均定义了所选数据表中所有列的SELECT权限,审批人可以选择为权限集A或角色B管理员;如果只有空间权限集定义了所选数据表中所有列的SELECT权限,审批人为空间权限集的管理员。 申请信息 为自己 勾选为自己后,可为自己申请所选择的资源权限。
是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端
空间权限集和权限集在配置上都是将用户与权限直接关联,二者使用上的区别在于: 空间权限集是没有父权限集的顶层权限集,一般每个工作空间下创建一个即可;而权限集必须关联一个空间权限集或其他权限集作为其父权限集,可以新建多个,用于给不同使用场景的用户关联不同的权限。 空间权限集主要用于确定工作