检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306
脚本编辑完成后,单击脚本编辑窗口下方的“测试SQL”,填写入参值和排序参数描述pre_order_by的值,执行验证是否能返回预期结果。 pre_order_by的默认值已由系统根据已配置的所有排序参数给出,自定义排序默认为升序。排序参数描述pre_order_by的值填写形式为“排序参数参数名:
关系建模和维度建模的区别? 问题描述 关系建模和维度建模的区别是什么。 解决方案 关系建模为事务性模型,对应三范式建模。 维度建模为分析性模型,主要包括事实表、维度表的设计,多用于实现多角度、多层次的数据查询和分析。 DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。
数据治理各模块域之间的关系 数据治理主要模块域之间的关系如下图所示: 图1 数据治理各模块之间的关系 数据标准为数据开发和设计工作提供核心参考,同时也通过数据开发实现数据标准化落地。数据标准为数据应用提供“一致的语言”;数据标准为主数据管理提供主数据定义的基准,数据标准也是数据质
企业模式简介 为方便不同安全管控要求的用户生产数据,DataArts Studio为您提供简单模式和企业模式两种工作空间模式。本文从简单模式工作空间与企业模式工作空间物理形态、对开发行为的影响等多个维度为您介绍两种模式工作空间的区别。 目前,仅管理中心和数据开发组件支持企业模式。
法,结果为16进制字符串,其字母为小写,要求DWS集群版本不低于8.1.3;通用-SM3密码杂凑算法为DLI或MRS引擎通用算法,结果为16进制字符串,其字母为大写。 加密:支持所有类型,使用所选的数据源加密算法为对应数据源的数据进行加密。 置空:支持所有类型,将值设置为null。
Notification,简称SMN)依据用户的订阅需求主动推送通知消息,使用户可以在触发告警(如质量监控)时能立即接收到通知。 云专线服务 DataArts Studio使用云专线服务(Direct Connect,简称DC)打通与第三方数据中心的网络通信。 API网关服务 DataArts
该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件,是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制(“文件格式”为“二进制格式”时生效),配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件,例如build
计算数据表中指定字段的唯一值行数。 字段重复值 计算数据表中指定字段的重复值行数(当有多个不同的重复值时,以所有重复值个数的和作为该字段的重复值行数)。 多字段唯一性校验 HIVE、SparkSQL、DLI、DWS、GBASE、HETUENGINE 校验数据表中多个字段的组合是否唯一,最多支持10个字段的组合。
询队列列表接口获取队列信息。默认值为空。 configuration 否 map <String,Object> 用户定义适用于此作业的配置参数,当type参数值为DLISQL时,才支持此参数。当前支持的配置项列表请参考 conf参数说明。默认值为空。 description 否
等文本数据类型。 是否必填、允许空值以及默认值。 如果设定为必填,则API在访问时,必须传入指定参数。 如果设定为非必填,则在API访问时,未传入的参数会使用默认值进行代替;如果未传入参数,也没有默认值,则允许空值时会使用null替换,不允许空值时忽略该参数条件。 说明: 入参定义中,参数大小限制如下:
该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件,是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制(“文件格式”为“二进制格式”时生效),配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件,例如build
maxRetryTime:最大重试时间,默认10分钟。 httpCodeSuccess: http响应成功码,默认值为:200,201,202。 httpCodeNotNeedRetry: http响应码,不需要进行重试的错误码,默认值为:200,201,202,401,403,404。 数据源认证及其他功能配置 认证方式
数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 使用本地API 否 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_
通过SDK调用API前,需要获取如下认证信息: 访问服务前,首先需要得到API的ID、请求URL和请求方法 在数据服务的“API目录”页面,单击API名称,在“完整信息”页面查看API的ID、请求URL和请求方法。 图1 API基础定义 对于APP认证的API,您必须提供有效的AppKey、AppSecret才能够生成认证签名。
注意,请求中加粗的斜体字段需要根据实际值填写: IAM endpoint为IAM服务的终端节点。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。Endpoint您可以从终端节点及区域说明获取。 username为用户名,domainname为用户所属
数据在json中的位置,默认为根路径,不填则取默认。 student 数据总数 数据总数,支持填写固定值,也支持从接口中获取。 固定值,例如:100000。 支持从返回的结果中,获取数据总量。例如:page.pageCount。 说明: 如果接口不是分页接口,将数据总数的值设置为小于或者
是 当“开启ldap”参数选择为“是”时,此参数是必选项。 填写为Apache Hive开启LDAP认证时配置的用户名。 ldap密码 是 当“开启ldap”参数选择为“是”时,此参数是必选项。 填写为Apache Hive开启LDAP认证时配置的密码。 父主题: 配置DataArts
通过API工具调用APP认证方式的API APP认证方式的API接口可以分别绑定不同的应用,安全级别最高。如果您需要API工具调用APP认证方式的API,则需要先通过JavaScript SDK包中的demo.html手动生成认证信息,再使用API工具调用。 本章节以Postman工具为例,为您介绍如何
6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 将ID为1217123755210469378、表类型为TABLE_MODEL的表的质量规则清空。 DELETE https://{endpoint}/v2/{proje