检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
编排API简介 数据服务API编排是指将已经开发好的服务API接口,在无需编写复杂代码的情况下,根据特定的业务逻辑和流程进行可视化的重组和重构,从而实现在不影响原生接口的前提下进行简便的二次开发。API编排为您提供拖拽式、可视化的API工作流程编排能力,您可以按照业务逻辑,以串行
调试API 功能介绍 调试API。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/test 表1 路径参数 参数 是否必选 参数类型 描述 project_id
DMS Kafka连接 介绍 通过DMS Kafka连接,可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": {
分配队列资源给指定空间 功能介绍 分配队列资源给指定空间。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission/queue/assigned-source 表1 路径参数 参数 是否必选 参数类型 描述 project_id
实时集成作业监控 实时集成作业监控提供了对实时处理集成作业的状态进行监控的能力。 实时处理集成作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的
查询当前空间下分配的队列资源 功能介绍 查询当前空间下分配的队列资源。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission/queue/assigned-source 表1 路径参数 参数 是否必选 参数类型
HDFS连接参数说明 目前CDM支持连接的HDFS数据源有以下几种: MRS HDFS FusionInsight HDFS Apache HDFS 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS HDFS 连
数据安全概述 数据安全以数据为中心,基于数据动态流动场景,构建全链路数据湖安全的解决方案,全方位保障数据湖安全,以此满足不同角色(如数据开发工程师,数据安全管理员,数据安全审计员和数据安全运营人员)对数据安全和数据治理的诉求。 图1 DataArts Studio数据安全框架 资
新建数据库 数据连接创建完成后,您可以基于数据连接,通过可视化模式或SQL脚本方式新建数据库。 (推荐)可视化模式:您可以直接在DataArts Studio数据开发模块通过No Code方式,新建数据库。 SQL脚本方式:您也可以在DataArts Studio数据开发模块或对
HBase连接参数说明 目前CDM支持连接的HBase数据源有以下几种: MRS HBase FusionInsight HBase Apache HBase 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS HBase
元数据实时同步接口(邀测) 功能介绍 元数据实时同步接口,支持批量。该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/metadata/async-bulk 表1 路径参数 参数 是否必选 参数类型
DLI SQL 功能 通过DLI SQL节点传递SQL语句到DLI SQL中执行,实现多数据源分析探索。 原理 该节点方便用户在数据开发模块的周期与实时调度中执行DLI相关语句,可以使用参数变量为用户的数仓进行增量导入,分区处理等动作。 参数 用户可参考表1,表2和表3配置DLI
修改当前空间下分配的队列资源 功能介绍 修改当前空间下分配的队列资源。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/permission/queue/assigned-source/{id} 表1 路径参数 参数 是否必选
MRS Hive SQL 功能 通过MRS Hive SQL节点执行数据开发模块中预先定义的Hive SQL脚本。 MRS Hive SQL节点的具体使用教程,请参见开发一个Hive SQL作业。 MRS Hive SQL节点不支持Hive的事务表。 参数 用户可参考表1,表2和表3配置MRS
通知周期概览 操作场景 用户可以按照天/周/月为调度周期配置通知任务,向相关人员发送通知。让相关人员可以定期跟踪作业的调度情况(作业调度成功数量,作业调度失败异常数量以及作业失败详情)。 约束限制 该功能依赖于OBS服务。 前提条件 已开通消息通知服务并配置主题,为主题添加订阅。
数据标准创建返回data结果。 表8 data 参数 参数类型 描述 value StandElementValueVOList object 属性值列表。 表9 StandElementValueVOList 参数 参数类型 描述 values Array of StandElementValueVO
数据标准更新返回data结果。 表8 data 参数 参数类型 描述 value StandElementValueVOList object 属性值列表。 表9 StandElementValueVOList 参数 参数类型 描述 values Array of StandElementValueVO
数据安全总览页面 数据安全总览页面为您提供了配置数据安全管理员功能和数据安全的空间汇总信息,包括查看敏感表总数、敏感表密级分布饼图、敏感字段密级分布饼图、脱敏和水印任务数量趋势图。 配置安全管理员 安全管理员由具有DAYU Administrator系统角色权限的账号指定,在DataArts
查看数据质量报告 您可以查询业务指标、数据质量中数据对象的质量评分,来判断各个对象是否质量达标。 质量报告的数据保留最近90天的结果。 查看质量报告包含技术报告和业务报告。 技术报告的统计范围是依据质量作业的运行结果,包含数据连接、数据库、表名、评分等信息。 业务报告的统计范围是
配置Elasticsearch/云搜索服务(CSS)目的端参数 作业中目的连接为Elasticsearch连接参数说明或云搜索服务(CSS)连接参数说明时,即将数据导入到Elasticsearch/云搜索服务(CSS)时,目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置