检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤3:数据开发处理 本步骤通过电影信息和评分信息的原始数据,分析评分最高的Top10电影和最活跃的Top10电影,然后通过作业定期调度执行并将结果每日导出到表中,以支撑信息分析。 创建DWS SQL脚本top_rating_movie(用于存放评分最高的Top10电影) 评分最
接口获取。 datasource_type 否 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database 否 String 数据库名称 cluster_name 否 String 集群名称。 请求参数 表3 请求Header参数 参数 是否必选 参数类型
步骤2:数据开发处理 本步骤通过BI报表原始数据,分析10大用户关注最多的产品和10大用户评价最差的商品,然后通过作业定期调度执行并将结果每日导出到表中,以支撑信息分析。 分析10大用户关注最多的产品 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
Studio增量包 创建并配置简单模式工作空间 升级企业模式工作空间 授权用户使用DataArts Studio 创建IAM用户并授权 自定义工作空间角色 添加工作空间成员和角色 管理中心 DataArts Studio支持的数据源 创建数据连接 资源迁移 使用教程 数据集成 数据集成概述 CDM支持的数据源
如何配置Hudi Compaction的Spark周期任务? 问题描述 Migration写入数据到Hudi时为了保证稳定性需要将Compaction任务单独拆成Spark作业并交给MRS执行,那么如何进行配置? 解决方案 修改Migration实时集成作业配置。 Migrati
Kafka实例的连接信息中启用的安全协议后,需要添加数据加密方式属性:属性名称填写为security.protocol,值根据Kafka实例中的安全协议填写为SASL_SSL或SASL_PLAINTEXT。 当DMS Kafka实例的连接信息中配置SASL认证机制后,需要添加认证方式的属性:属性名称填写为sasl
数据质量监控简介 数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行、跨源和跨表的分析。数据质量支持对离线数据的监控,当离线数据发生变化时,数
在数据开发子模块中,新建的DLI SQL脚本默认队列是一个已删除的队列,怎么处理? 问题描述 新建的DLI SQL脚本默认队列是一个已删除的队列。 图1 DLI SQL脚本 问题分析 新建的DLI SQL脚本队列显示的逻辑是这样的,在该工作空间,上一次使用DLI SQL脚本或打开DLI
X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。 Content-Type 否 String 默认值:application/json;charset=UTF-8 可选,有Body
标签接口 添加标签 删除标签 父主题: 数据架构API
资产管理接口 查询技术资产 根据guid获取资产详情 添加或修改资产 删除资产 父主题: 数据目录API
数据架构 数据架构概述 数据架构使用流程 添加审核人 数据调研 标准设计 模型设计 指标设计 通用操作 使用教程
批量打标签(邀测) 功能介绍 批量给资产打标签。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/datamap/entities/guids/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
授权用户使用DataArts Studio 创建IAM用户并授予DataArts Studio权限 (可选)自定义工作空间角色 添加工作空间成员和角色
X-Project-Id 否 String 项目ID,获取方法请参见项目ID和账号ID。 多project场景采用AK/SK认证的接口请求,则该字段必选。 Content-Type 否 String 默认值:application/json;charset=UTF-8 可选,有Body
表4 FilterCriteria 参数 是否必选 参数类型 描述 name 是 String 当前可选值:database。 value 是 String database的名称。 operator 是 String 操作标识。 表5 TimeRange 参数 是否必选 参数类型
步骤6:数据开发处理 DataArts Studio数据开发模块可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助您快速构建大数据处理中心。 使用DataArts Studio数据开发,用户可进行数据管理、数据集成、脚本开
在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“互斥配置”。 单击“新建”进入“互斥组设置”的界面。 设置“组名称”。 单击“添加作业”,至少选择两个作业。单击“删除”可以删除已添加的作业。 单击“确定”。 更多操作 编辑:单击“编辑”,可以对已配置的互斥组信息进行修改。 删除:单击“删除”,可以对已配置的互斥组进行删除。
一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到HTTP请求中,或者作为查询字符串参数添加到HTTP请求中。 API网关收到请求后,执行1~3,计算签名。 将3中的生成的签名与5中生成的签名进行比较,如果签名匹配,则处理请求,否则将拒绝请求。
45小时/月的使用时长,在绑定区域为在DataArts Studio控制台购买的对应实例规格的CDM集群使用。 套餐包(按需资源包)仅支持给DataArts Studio控制台购买的CDM集群使用;在CDM控制台购买的CDM集群,不支持使用DataArts Studio增量包形式