检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过API工具调用IAM认证方式的API IAM认证方式的API调用前,需要调用IAM服务的获取用户Token接口获取Token,然后通过Token进行安全认证。 本章节以Postman工具为例,为您介绍如何使用API工具调用IAM认证方式的API,主要包含如下几步: 获取API信息
通过API工具调用无认证方式的API 无认证方式的API可以通过API工具直接调用,无需获取认证信息。 无认证方式建议仅在测试接口时使用,不推荐正式使用。若调用方为不可信任用户,则存在数据库安全风险(如数据泄露、数据库高并发访问导致宕机、SQL注入等风险)。 本章节以Postman
通过API工具调用APP认证方式的API APP认证方式的API接口可以分别绑定不同的应用,安全级别最高。如果您需要API工具调用APP认证方式的API,则需要先通过JavaScript SDK包中的demo.html手动生成认证信息,再使用API工具调用。 本章节以Postman
DLI Flink Job 功能 DLI Flink Job节点用于创建和启动作业,或者查询DLI作业是否正在运行,实现实时流式大数据分析。 DLI Flink流式作业提交到DLI之后,若处于运行中的状态,则认为节点执行成功。
方法论产品落地 数据治理方法论已经在华为云服务数据治理中心DataArts Studio上落地实现,包括流程落地和功能落地。流程落地是指有一套详细的流程规范(需求、设计、实施、验证、发布等阶段)指导用户使用DataArts Studio开展数据治理工作;功能落地是指DataArts
数据库、数据仓库、数据湖与华为智能数据湖方案是什么,有哪些区别和联系? 如今随着互联网以及物联网等技术的不断发展,越来越多的数据被生产出来,数据管理工具也得到了飞速的发展,大数据相关概念如雨后春笋一般应运而生,如从数据库、数据仓库、数据湖、湖仓一体等。这些概念分别指的是什么,又有着怎样的联系
表达式概述 数据开发模块作业中的节点参数可以使用表达式语言(Expression Language,简称EL),根据运行环境动态生成参数值。可以根据Pipeline输入参数、上游节点输出等决定是否执行此节点。数据开发模块EL表达式使用简单的算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象
面向的读者 本文面向的读者包括:企事业各级管理人员、参与数据工作的相关人员、工具平台开发维护的相关人员等。
数据开发概述 数据开发是一个一站式的大数据协同开发平台,提供全托管的大数据调度能力。它可管理多种大数据服务,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂(Data Lake Factory,后简称DLF)服务,因此在本文中,“数据湖工厂
开发一个Hive SQL作业 本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台,支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能;可以将
SDK概述 DataArts Studio服务软件开发工具包(DataArts Studio SDK,DataArts Studio Service Software Development Kit),目前提供了REST API SDK包和数据服务SDK包两种开发包,功能和差异如表
什么是数据治理中心DataArts Studio 企业数字化转型面临的挑战 企业在进行数据管理时,通常会遇到下列挑战。 数据治理的挑战 缺乏企业数据体系标准和数据规范定义的方法论,数据语言不统一。 缺乏面向普通业务人员的高效、准确的数据搜索工具,数据找不到。 缺乏技术元数据与业务元数据的关联
调用API方式简介 创建API时,有三种认证方式可选,不同认证方式的API支持的调用方式也有所不同,详见表1。 表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 (推荐)APP认证 高 通过APP应用将API授权给应用后,使用应用的密钥对
通过不同方式调用API 调用API方式简介 (推荐)通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 通过API工具调用IAM认证方式的API 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 父主题: 调用数据服务API
数据治理度量维度 数据治理成熟度评估使用调查问卷方式,包括11个治理模块,60多个调查问卷事项,全方面多维度度量了数据治理工作的水平。 数据治理评分卡使用评分卡形式,由数据治理组织和各业务IT部门共同针对各部门自身数据治理情况进行打分。评分卡是季度性打分,作为一个工具手段持续推动促进各部门的数据治理工作
数据服务SDK概述 本文档指导API调用者通过数据服务SDK代码调用数据API,当前数据服务SDK代码仅支持调用API场景。 数据服务SDK介绍 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据
步骤7:数据质量监控 数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中,可以对业务指标和数据质量进行监控
数据质量监控简介 数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行、跨源和跨表的分析。数据质量支持对离线数据的监控,当离线数据发生变化时,数据质量会对数据进行校验
数据安全治理维度 根据DSMM评估模型,可以从组织建设、制度流程、技术工具、人员能力四个维度开展数据安全治理能力建设工作。 图1 数据安全能力建设工作 组织建设 数据安全组织架构是数据安全治理体系建设的前提条件。通过建立专门的数据安全组织,落实数据安全管理责任,确保数据安全相关工作能够持续稳定的贯彻执行
业务指标监控简介 当前,数据架构有完善的指标设计和管理能力,建议您后续使用数据架构的业务指标功能,数据质量的业务指标监控模块即将下线。 业务指标监控模块是对业务指标进行质量管理的工具。 为了进行业务指标监控,您可以先自定义SQL指标,然后通过指标的逻辑表达式定义规则,最后新建并调度运行业务场景