检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。
Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口:1521 数据库连接类型
推荐选择HTTPS协议,HTTPS是在HTTP协议上进行了SSL或TLS加密校验的协议,能够有效验证身份以及保护数据完整性。相对的,访问HTTPS的API,需要配置相关的SSL证书或跳过SSL校验,否则将无法访问。 请求方式 HTTP请求方式,表示请求什么类型的操作,包含GET、POST等,遵循resultful风格。
Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图2 空间信息 单击空间成员下的“添加”,在弹出的“添加成员”对话框中选择“按用户添加”或“按用户组添加”,然后从“成员账号”的下拉选项中选择用户或用户组,并设置角色。
选定DLI队列后,下拉可选择作业使用Spark组件的版本号,使用时如无特定版本要求时使用默认版本号2.3.2,有特殊使用要求时选择对应的版本即可。 作业特性 否 作业使用的Spark镜像类型,当前支持基础型、AI增强型和自定义的Spark镜像。 自定义镜像需要选择自定义镜像名称和
编排API简介 数据服务API编排是指将已经开发好的服务API接口,在无需编写复杂代码的情况下,根据特定的业务逻辑和流程进行可视化的重组和重构,从而实现在不影响原生接口的前提下进行简便的二次开发。API编排为您提供拖拽式、可视化的API工作流程编排能力,您可以按照业务逻辑,以串行
DCMM标准分析提炼出了组织数据管理的八大能力域,分别为数据战略,数据治理,数据架构,数据标准,数据质量,数据安全,数据应用,以及数据生存周期;并对每项能力域进行了二级能力项(28个过程项)和发展等级的划分(5个等级)以及相关功能介绍和评定指标(445项指标)的制定。 该标准适用于信息系统的建设单位,应
级别2是开始管理级别,仍处于匮乏状态,没有形成正式一致的数据治理方法。 级别3是明确定义级别,处于可改进状态,已经形成了主动治理的流程和正式一致的数据治理方法。 级别4是量化管理级别,已经步入适宜匹配状态,贯穿组织采用的正式一致的数据治理方法都是可量化管控的。 级别5是最高级别,专注于持续优化提升,已经步入卓越状态。
基本概念 账号 用户的账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。
输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换,以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码,支持映射为自定义信息。 例如,将“DLM.0”错误码映射为“OK”。 结果集映射 是 针对工作流中查询到的所有普通
适用组件勾选数据集成后,呈现此参数。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 连接属性 否 适用组件勾选数据集成后,呈现此参数。 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。
已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器(可选)。 如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称
统一权限治理提供了对于MRS、DWS、DLI数据湖仓中的库、表、字段的访问权限配置的核心能力,包含如下特性: 集中式访问控制 融合了不同的大数据服务进行统一权限管理,如MRS、DWS、DLI等,给用户带来了统一的权限配置入口,极大的提高了易用性和可维护性。 多级权限配置模型 权限模型
指标数据统计的基本计量单位。 *统计周期 指标统计的周期颗粒度。 统计维度 常用的统计维度,维度一般存在层级关系。 *刷新频率 指标数据的刷新的最小频率。 统计口径&修饰词 除统计周期和维度外,该指标常用的统计口径&修饰词,限制指标数据的范围。 指标应用场景 描述该指标重要的应用场景,包括在线报表、例行报告、汇报材料等。
如果存在同名API,则按照导入的API更新API定义。 导入文件 待导入的API文件可以是从其他项目直接导出的API文件,也可以是通过模板填写的Excel文件,需要确保符合模板规范要求。 图5 导入API 导入成功后,即可在API列表中查看导入的API。 父主题: 管理API
在集群页面单击“更多 > 绑定内网域名”,输入自定义的内网域名,数据服务调用DNS服务将内网域名与内网地址相关联。注意,每个租户在所有项目中支持添加的内网域名总配额为50个。 自定义的内网域名支持各类域名级别,但需符合域名命名规范。 由以点分割的字符串组成,单个字符串不超过63个字符。 支
口的数据服务专享版集群,不支持再绑定弹性公网IP,即无法再直接通过公网访问。 在这种情况下,您可以导出当前集群的API,然后重新新建一个开启“公网入口”的数据服务专享版集群,再将旧集群的API导入到新集群上,即可开启公网访问。 另外,如果您已有开启公网入口的APIG专享版或ROMA
表示当前分支执行超过配置的超时时间后,则将此分支置为失败状态。默认为0无时间限制。 分支2 超时时间(ms) 表示当前分支执行超过配置的超时时间后,则将此分支置为失败状态。默认为0无时间限制。 ... 分支n 超时时间(ms) 表示当前分支执行超过配置的超时时间后,则将此分支置为失败状态。默认为0无时间限制。
如何处理API对应的数据表数据量较大时,获取数据总条数比较耗时的问题? 问题场景 创建API时,已打开“返回总条数”开关。当API对应的数据表数据量较大时,获取数据总条数比较耗时。 图1 返回总条数 解决方案 在分页查询时,您可以通过参数(参数名use_total_num)控制是否计算并返回数据总条数。
CloudTable或HBase作为源端时,CDM会读取表的首行数据作为字段列表样例,如果首行数据未包含该表的所有字段,用户需要自己手工添加字段。 由于HBase的无Schema技术特点,CDM无法获知数据类型,如果数据内容是使用二进制格式存储的,CDM会无法解析。 从HBase/Cloud