检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Integer 分类层级 rule_list Array of DataClassificationRuleQueryDTO objects 识别规则 root_id String 分类树根节点 parent_id String 父分类节点 category_path String 分类树路径
新建DataArts Studio与MRS Hive数据湖的连接 本章节以新建MRS Hive连接为例,介绍如何建立DataArts Studio与数据湖底座之间的数据连接。 前提条件 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。
导入包含API信息的EXCEL文件 功能介绍 导入包含API信息的EXCEL文件。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/import/excel 表1 路径参数 参数 是否必选 参数类型 描述 project_id
FTP/SFTP连接 介绍 通过FTP或SFTP连接,可以对FTP或SFTP服务器抽取或加载文件,支持CSV、二进制和JSON格式。 连接样例 { "links": [ { "link-config-values": {
略/出错。 正常处理:Migration识别到源端库表出现该DDL动作时,作业自动同步到目的端执行该DDL操作。 忽略:Migration识别到源端库表出现该DDL动作时,作业忽略该DDL,不同步到目的端表中。 出错:Migration识别到源端库表出现该DDL动作时,作业抛出异常。
导出作业 功能介绍 导出zip压缩包格式的作业文件,包括作业定义、作业依赖的脚本、CDM作业定义。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/{job_name}/export
导出包含API信息的EXCEL文件 功能介绍 导出包含API信息的EXCEL文件。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/export/excel 表1 路径参数 参数 是否必选 参数类型 描述 project_id
息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务(MRS
体验和效率,最终实现数据资产的变现。 数据安全 数据安全为数据治理中心提供数据生命周期内统一的数据使用保护能力。通过访问权限管理、敏感数据识别、隐私保护管理等措施,帮助用户建立安全预警机制,增强整体安全防护能力,让数据可用不可得和安全合规。
数据权限 数据权限简介 数据安全 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。在数据安全模块,您可以进行访问权限管理、敏感数据识别、隐私保护管理等操作。 统一权限治理 权限治理使用流程 敏感数据治理 敏感数据治理流程 隐私保护管理 隐私数据保护简介 数据服务 统一管理
新建数据表 您可以通过可视化模式、DDL模式或SQL脚本方式新建数据表。 (推荐)可视化模式:您可以直接在DataArts Studio数据开发模块通过No Code方式,新建数据表。 (推荐)DDL模式:您可以在DataArts Studio数据开发模块,通过选择DDL方式,使用SQL语句新建数据表。
Shell 功能 通过Shell节点执行用户指定的Shell脚本。 Shell节点的后续节点可以通过EL表达式#{Job.getNodeOutput()},获取Shell脚本最后4000字符的标准输出。 使用示例: 获取某个Shell脚本(脚本名称为shell_job1)输出值包
表达式概述 数据开发模块作业中的节点参数可以使用表达式语言(Expression Language,简称EL),根据运行环境动态生成参数值。可以根据Pipeline输入参数、上游节点输出等决定是否执行此节点。数据开发模块EL表达式使用简单的算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。
OBS连接 介绍 通过OBS连接,可以对对象存储服务(Object Storage Service,简称OBS)抽取或加载文件,支持CSV、JSON和二进制格式。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明 数据仓库 数据仓库服务(DWS)
导出连接(待下线) 连接管理能力由管理中心统一提供,相关接口已不再维护,推荐使用管理中心API进行连接管理。 功能介绍 导出zip压缩包格式的连接文件,包括所有连接的定义。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。 表2 整库迁移支持的数据源 数据源分类 数据源 读取 写入 说明 数据仓库 数据仓库服务(DWS)
数据架构配置数据搬迁 当前管理中心支持直接搬迁数据架构组件中的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表数据,但不包含事实表数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据架构的导入导出功能进行搬迁。 数
全量导出包含API的EXCEL压缩文件 功能介绍 全量导出包含API的EXCEL压缩文件。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/export/zip 表1 路径参数 参数 是否必选 参数类型 描述 project_id
略/出错。 正常处理:Migration识别到源端库表出现该DDL动作时,作业自动同步到目的端执行该DDL操作。 忽略:Migration识别到源端库表出现该DDL动作时,作业忽略该DDL,不同步到目的端表中。 出错:Migration识别到源端库表出现该DDL动作时,作业抛出异常。