检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
物理隔离要求较低,能够开箱即用,快速实现API能力开放。 中大型用户。 专享版数据服务拥有物理隔离的独立集群, 更丰富的特性。 满足内部API调用跟API开放,独立的出、入网带宽选择。 数据服务的共享版与专享版在功能上的异同点如下表所示。 表2 共享版与专享版数据服务功能差异 规格分类 规格描述 共享版
Studio支持连接哪些数据源? 创建数据连接需要注意哪些事项? DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? DWS数据连接开启SSL时测试连接失败怎么办? 一个空间可以创建同一数据源的多个连接吗?
主要包括以下几部分内容: 所选周期内的作业数、实例数、异常表数,以及各种实例运行状态的分布和变化趋势情况。 当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 规则模板 质量规则模板是数据质量的核心功能,是配置规则的主要入口。它主要管理规则配置(内置模板和自定义模板)的相关功能。
如何查看DataArts Studio的版本? 购买DataArts Studio实例时为什么选不到指定的IAM项目? DataArts Studio的会话超时时间是多少,是否支持修改? 套餐包到期未续订或按需资源欠费时,我的数据会保留吗? 如何查看套餐包的剩余时长? DataArts
格式、值域是数据交换的基础,它们用于描述表的字段元信息,规范字段所存储的数据信息。 本章节介绍如何创建数据标准,创建好的数据标准,可用于在关系建模中新建业务表时与业务表中的字段相关联,从而约束业务表中的字段遵从指定的数据标准。 约束与限制 单工作空间允许创建的数据标准目录最多500条,个数最多20000个。
业所需的资源组。 套餐包(按需资源包):建立在按需计费的基础之上,通过预付费购买一定时间期限内的使用量套餐包。相对于按需计费更优惠,对于长期使用者,推荐使用套餐包。 创建套餐包计费的增量包后,购买的是和具体的区域、实例规格绑定的资源包,不会自动创建资源组,而是在生效期内的每个计费
通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区
创建API时,有三种认证方式可选,不同认证方式的API支持的调用方式也有所不同,详见表1。 表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 (推荐)APP认证 高 通过APP应用将API授权给应用后,使用应用的密钥对(Ap
注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 获取参数test的值: #{Job
网络打通 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤?
使用者提供更直观的数据资产相关信息,有助于投资者对企业进行更好的估值;可以改善企业财务报表,进而降低资产负债率,提升利润率;数据入表后可以通过数据交易为企业增值,并促进数据资产开发的相关投入。 企业数据资产的计量方法分为成本法、收益法、市场法。具体每个企业有哪些数据资产能入表,怎
数据集成(实时作业) 问题案例总览 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? 如何配置Hudi Compaction的Spark周期任务? MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤?
针对工作流中查询到的所有普通API结果集,支持对一个或多个节点的结果集名称进行映射,映射后的名称会作用到JSON或文件名中,未映射的结果集将不会输出到最终返回结果中。 节点映射表达式写法固定为“${节点编码|payload}”,节点编码可通过在API编排的画布中,单击节点后在节点详情中查看,并支持通过复制。
objects 输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-val
由一个特定的分析对象及其相关的统计指标组成的,向用户提供了以统计粒度为主题的所有统计数据。 数据开发:一站式协同开发平台 DataArts Studio数据开发是一个一站式敏捷大数据开发平台,提供可视化的图形开发界面、丰富的数据开发类型(脚本开发和作业开发)、全托管的作业调度和运
数据质量 质量作业和对账作业有什么区别? 如何确认质量作业或对账作业已经阻塞? 如何手工重启阻塞的质量作业或对账作业? 怎样查看质量规则模板关联的作业? 用户在执行质量作业时提示无MRS权限怎么办?
解决方案 在“运维调度 > 作业监控”界面确认作业的调度状态是否是调度中,只有调度中的作业到了调度周期后才会调度。 图1 查看作业调度状态 如果作业有依赖于其他作业,在“运维调度 > 实例监控”界面,查看依赖作业的运行状态。如果作业有自依赖,扩大搜索时间窗口,查看是否当前作业历史实
Studio实例的数据架构中已创建的表导出到Excel文件中。导出后的文件可用于导入到关系模型中。导出模型的操作请参见导出表或DDL。 打开下载的模板,请根据业务需求填写好模板中的相关参数并保存,模板中的“填写说明”Sheet页供参考。 模板中的参数,其中名称前带“*”的参数为必填参数,名称前未带“*”的参数为可选参数。
实时作业监控提供了对实时处理作业的状态进行监控的能力。 实时处理作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
服务的作业时,节点名称不会同步变化。 是否使用简易变量集 作业开发 简易变量集提供了一系列自定义的变量,实现在任务调度时间内参数的动态替换。 忽略失败的通知策略 运维调度 对于运行状态为忽略失败的作业,支持发送的通知类型。 节点超时是否重试 作业运行 作业节点运行超时导致的失败也会重试。