检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 单击“开发API > API管理”,进入到API管理页面。 在待授权给其他华为账号的API所在行,单击“更多 > 查看授权”,进入API完整信息界面。
还原回收站数据 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“回收站”,进入回收站页面。 图1 进入回收站页面 在回收站页面,您可以通过切换页签,查看并还原已删除的权限集(包含空间权限集、权限集以及通用角色)或动态脱敏策略数据。
在DataArts Studio数据架构控制台,单击左侧导航栏的“关系建模”进入关系建模页面。 在页面的中间栏位,从最上方的下拉框中选择一个物理模型;或者从“数仓规划”选择一个物理模型进入物理表列表页面。单击上方的“逆向数据库”。 图1 逆向数据库 在“逆向数据库”对话框中配置如下参数。
若使用局点没有OBS服务,系统默认导出到本地。 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“数据质量监控 > 质量报告”。 图6 质量报告页面 单击页面右上角的“导出”按钮,将质量报告导出。 图7 导出 图8 导出到OBS桶 可在导出记录中查看导出结果,单
单表同步:支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库同步:支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表,一个任务中最多支持200张目标表。 分库分表同步:支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。 实时同步任务配置
取小时:$[hh24-15/24/60] 取分钟:$[mi-15/24/60] 调度参数替换值在实例生成时已经确定,所以调度参数的替换值不会随着实例实际运行时间的改变而改变。 当调度参数取小时、分钟时,参数替换值由实例的计划时间决定,即由节点调度配置的计划调度时间决定。举例如下: 如果当前节点为日
Arts Studio实例,单击实例卡片上的“进入控制台”,进入概览页面。 选择“空间管理”页签,在工作空间列表中,找到所需要的工作空间,单击工作空间的“数据开发”,系统跳转至数据开发页面。 在“作业开发”页面,新建数据开发子作业EL_test_slave。选择一个Kafka C
量作业为例,介绍如何开发质量作业。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 创建规则模板。 单击左侧导航“规则模板”,默认展示系统自定义的规则。数据质量的规则包含6个维度,分别是:完整性、唯一性、及时性、有效性、准确性、一致性。
”、“>”等各类特殊字符,长度为1~128个字符。 实例所属Region 是 选择一个已存在的实例所属Region。 ROMA实例 是 选择一个已存在的ROMA实例。 DataArts Studio支持跨资源空间选择ROMA实例。 FDI任务 是 选择一个已存在的ROMA FDI任务。
相关作业参数用于节点运行后,方便跳转到对应作业的监控列表。选择完相关作业,单击“前往监控”在“作业监控”页面选择DIS Client节点时,单击页面下方的“查看相关作业”按钮可以查看相关作业。在“相关作业”页面,单击“查看”能跳转到对应的作业。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间
1版本的集群。 CDM集群名称 是 选择“集群”时,才需要配置。 选择CDM集群。CDM集群提供代理,转发相关请求。 如果下拉框中未提供CDM集群,请访问CDM管理控制台创建集群。 数据连接 是 选择“数据连接”时,才需要配置。 选择已创建好数据连接。 请求类型 是 支持以下请求类型: GET
数据安全 数据安全概述 数据安全总览页面 统一权限治理 敏感数据治理 敏感数据保护 数据安全运营 管理回收站
连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对等连接,可能会出现对端VPC子网与CDM管理网重叠,从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移,或联系管理员在CDM后台为VPC对等连接添加特定路由。 当CDM集群与其他云服务
配置为:OBS channel 是 String DIS通道名称。 通过DIS管理控制台获取通道名称: 登录管理控制台。 单击“数据接入服务”,左侧列表选择“通道管理”。 通道管理页面中列出了用户拥有的通道。 failPolicy 否 String 执行失败处理策略: SUSPEND :挂起
技术,使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 程序在读写两端会根据数据源类型,使用不同的访问接口,一般是数据源提供的对外接口,例如JDBC、原生API等,因此在开
Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“静态脱敏”,进入静态脱敏页面,在页面上方单击“新建”,创建静态脱敏任务。 图1 创建静态脱敏任务 在弹出的创建任务页面中填写任务名称和描述,单击“下一步”。 图2 基本信息配置 进行脱敏任务源、目标端配置。参数配置参考表1。
配置Hive目的端参数 作业中目的连接为Hive连接时,目的端作业参数如表1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标
#{expr} 其中,“expr”指的是表达式。“#”和“{}”是数据开发模块EL中通用的操作符,这两个操作符允许您通过数据开发模块内嵌对象访问作业属性。 举例 在Rest Client节点的参数“URL参数”中使用EL表达式“tableName=#{JSONUtil.path(Job
Arts Studio实例,单击实例卡片上的“进入控制台”,进入概览页面。 选择“空间管理”页签,在工作空间列表中,找到所需要的工作空间,单击工作空间的“数据开发”,系统跳转至数据开发页面。 在“作业开发”页面,新建数据开发作业,然后分别选择CDM节点和两个Dummy节点,选中连线图标并拖动,编排图1所示的作业。
数据管理 数据管理流程 新建数据连接 新建数据库 (可选)新建数据库模式 新建数据表 父主题: 数据开发