检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据目录API 数据开发API 数据架构API 数据质量API 数据服务API SDK文档 数据服务SDK 快速创建一个kubernetes集群 3分钟创建一个游戏类容器应用 3分钟创建一个游戏类容器应用 02 计费 DataArts Studio采用基础包+增量包的计费模式。为了便于您便捷的
等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 单工作空间允许创建的数据连接个数最多200个。 管理中心相关开放API并发限制为100qps。 数据集成 CDM作业支持自动备份和恢复,将备份数据存储到OBS中,该功能需要您手动
级别5是最高级别,专注于持续优化提升,已经步入卓越状态。 图1 数据治理成熟度级别分层 数据治理评分卡对各维度度量是按5分制进行评分,每一个度量细项只有得分0或得分1,如果满足度量细项要求得分1,否则得分0。 图2 数据治理评分卡数据执行维度度量评分计算范例 如上示例,针对流程7
说明 取值样例 基本参数 模式或表空间 表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,分库连接时此处默认展示对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。
为实现DWS数据源的数据访问审计,需要满足如下条件: 已开启DWS集群的审计功能开关audit_enabled。 审计功能开关默认开启,如果已关闭则请参考修改数据库参数章节将audit_enabled设置为ON。 已开启需要审计的审计项。 DWS各类审计项及其开启方法,请参考设置数据库审计日志章节。 对于DWS数
复制名称和重命名作业 您可以通过复制名称功能复制当前作业名称,通过重命名功能修改当前作业名称。 前提条件 已完成作业开发。如何开发作业,请参见开发Pipeline作业。 复制名称 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
新建数据分类 本章主要介绍如何创建数据分类规则。 只有在创建数据分类规则之后,您才可以创建数据脱敏策略进行数据脱敏。 前提条件 数据密级定义已完成,请参见新建数据密级。 新建分类规则 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。
选择STANDALONE模式时,CDM支持在多个MRS集群的HDFS之间迁移数据。 若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群,只能使用EMBEDDED运行模式连接其中一个集群,其余需使用STANDALONE。 linkConfig.properties
导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,作业将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table
如果您的作业是批处理作业,您可以配置作业级别的调度任务,即以作业为一个整体进行调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务(批处理作业)。 如果您的作业是实时处理作业,您可以配置节点级别的调度任务,即每一个节点可以独立调度,支持单次调度、周期调度、事件驱动调
选择第三方平台的动态脱敏策略发布Kafka消息的Topic主题。同一个MRS集群的一个Topic主题只能对应一个订阅任务。 调度配置 调度时间 选择每天调度生效的时间段。 建议消息量大小评估调度时间,目前消费一个数据加同步大约需要2秒。 调度周期 选择按小时还是按分钟调度。 调度间隔
入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明:
认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发 数据开发是编排、调度和运维的中心,数据开发是一个提供分析、设计、实施、部署及维护一站式数据解决方案,完成数据加工、转换和质量提升等。数据开发屏蔽了各种数据存储的差异,一站式满足从数据集成
Studio数据连接管理的能力,将DataArts Studio与数据底座进行对接,用于数据开发与数据治理等活动。 数据集成 数据集成提供20+简单易用的迁移能力和多种数据源到数据湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。 数据架构 作为数据治理的一个核心模块,承担数
创建完NAT网关后,回到NAT网关控制台列表,单击创建好的网关名称,然后选择“添加SNAT规则”。 图1 添加SNAT规则 选择子网和弹性IP,如果没有弹性IP,需要先申请一个。 完成之后,就可以到CDM控制台,通过Internet迁移公网的数据上云了。例如:迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 es_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168
参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务节点 一个或者多个节点的地址,以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口 连接的Cassandra节点的端口号。
入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明:
在项目ID和账号ID下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的
导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table