检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问DataArts Studio。 各组件API的流量限制请参见API概览。 数据集成API的约束如下: CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。 短时间内下发大量作业,可能会导致集群资源耗尽异常等,您调用API时需要注意。 CDM是批量离线迁移工具,不建议客户创建大量小作业场景。
在敏感信息,但又不得不开放权限。此时就可以建立脱敏策略并对敏感数据进行脱敏,在满足业务需要的同时保证了数据的真实性不被泄露。 本章主要介绍如何创建脱敏策略。此处的脱敏策略仅适用于静态脱敏任务。 前提条件 已定义敏感数据识别规则,未定义请参考定义识别规则完成定义。 已配置内置脱敏算
置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对等连接,可能
初级版:基于DWS的电影评分数据集成与开发流程 示例场景说明 步骤1:数据准备 步骤2:数据集成 步骤3:数据开发处理 步骤4:服务退订
配置GBase目的端参数 表1 GBase作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 SCHEMA_EXAMPLE 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
获取Rest Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值,包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值
配置空间资源权限策略 本章介绍如何通过空间资源权限策略,基于用户、用户组或角色,实现对管理中心所有数据连接和IAM委托(仅限于委托对象为“数据湖治理中心 DGC”的云服务委托)的精细权限控制。 当未配置某资源的空间资源权限策略时,所有用户默认可以查看并使用该资源。 当将某资源(例
获取Rest Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值,包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值
Ranger数据连接参数说明 MRS Presto数据连接参数说明 Doris数据连接参数说明 OpenSource ClickHouse数据连接参数说明 RDS数据连接参数说明 ORACLE数据连接参数说明 DIS数据连接参数说明 主机连接参数说明 OBS数据连接参数说明 Apache HDFS数据连接参数说明
购买DataArts Studio增量包 如何选择增量包 购买批量数据迁移增量包 购买数据集成资源组增量包 购买数据服务专享集群增量包 购买作业节点调度次数/天增量包 购买技术资产数量增量包 购买数据模型数量增量包 父主题: 购买并配置DataArts Studio
审批管理接口 获取审批单 撤回审批单 审批单处理 批量发布 批量下线 创建审批人 查询审批人列表 删除审批人 删除实体下展 获取下展信息与已发布实体的差异 父主题: 数据架构API
//同步当前时间 "name":" task1", //动态脱敏策略名,不能与当前已有动态脱敏策略名重复 "database": "1", //数据库名 "table": "1", //数据表名 "column": "1", //字段名
linkConfig.password 是 String 连接Redis服务器的密码。 linkConfig.dbIndex 是 String Redis数据库索引。 父主题: 连接参数说明
勾选“是否定时执行”,配置定时任务: “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样CDM每天凌晨自动执行全量迁移,但因为“重复文件处理方式”选择了“跳过重复文件”,相同名称且相同大小的文件不迁移,所以只会上传每天新增的文件。 单击“保存”,完成CDM的增量同步配置。 父主题:
作空间的“数据开发”,系统跳转至数据开发页面。 构造原始表格student_score。新建临时Hive SQL脚本,选择Hive连接和数据库后,粘贴如下SQL语句并运行,运行成功后即可删除此脚本。 CREATE TABLE `student_score` (`name` String
如果一个任务先变慢、再出错,会生成两个事件。 事件状态: 新发现:基线监控的任务产生变慢或者失败。 已恢复:超过基线任务的承诺完成时间,但基线任务最终完成。 处理中:基线运行产生的该条事件正在处理中。 已忽略:基线运行产生的该条事件已忽略。 单击“事件标识”,进入“事件详情”界面,用户可以查看事件的详细信息。 父主题:
长度小于等于100个字符。连接名称不能重复。 type 是 String 连接类型,包含: DWS DLI SparkSQL HIVE RDS CloudTable HOST config 否 Map<String,String> 连接的配置项,不同类型的连接配置项不同。DLI类
MRSHetuEngine: 执行MRS服务的HetuEngine作业。 DLISpark:执行DLF服务的Spark作业 RDSSQL:传递SQL语句到RDS中执行。 ModelArts Train:执行ModelArts服务的workflow作业。 retryTimes 否 Integer
大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回收用户权限,用户也可以主动交还不再需要的权限。 权限审批管
Hive的出租车出行数据治理流程 示例场景说明 步骤1:流程设计 步骤2:数据准备 步骤3:数据集成 步骤4:元数据采集 步骤5:数据架构设计 步骤6:数据开发处理 步骤7:数据质量监控 步骤8:数据资产查看 步骤9:服务退订