检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String 数据表名称(技术报告有效)。 start_timestamp 否 Long 开始时间戳。
建队列运行业务。 Spark版本 否 选定DLI队列后,下拉可选择作业使用Spark组件的版本号,使用时如无特定版本要求时使用默认版本号2.3.2,有特殊使用要求时选择对应的版本即可。 作业特性 否 作业使用的Spark镜像类型,当前支持基础型、AI增强型和自定义的Spark镜像。
Studio实例或增量包时,可用区无要求。 再次购买DataArts Studio实例或增量包时,是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。
Studio实例或增量包时,可用区无要求。再次购买DataArts Studio实例或增量包时,是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。
点,指标数值反映了指标在具体时间、地点、条件下的数量表现。业务指标用于指导技术指标,而技术指标是对业务指标的具体实现。 业务指标 技术指标 支持新建原子指标、新建时间限定、新建衍生指标、新建复合指标。 技术指标 审核中心 开发环境生成的规范建模、数据处理类任务提交后,都会存储在审
即数据的来源,本质是讲存储或处理数据的媒介,比如:关系型数据库、数据仓库、数据湖等。每一种数据源不同,其数据的存储、传输、处理和应用的模式、场景、技术和工具也不相同。 源数据 源数据强调数据状态是“创建”之后的“原始状态”,也就是没有被加工处理的数据。在数据管理的过程中,源数据一般是指直
参考:静态脱敏场景介绍。 运行使用自定义哈希类型脱敏算法的静态脱敏任务时,如果使用了dws-SM3密码杂凑算法,则必须选择DWS引擎运行,要求DWS集群版本不低于8.1.3;如果使用了通用-SM3密码杂凑算法,则必须选择DLI或MRS引擎运行。 DLI引擎的静态脱敏任务,运行参数
图6 查看监控任务 当采集任务成功后,在左侧导航栏单击“数据目录”,选择“技术资产”页签,然后设置筛选条件,例如选中连接“mrs_hive_link”,以及选中“Table”,将显示符合条件的所有的表。 图7 技术资产 单击所需要的元数据名称,即可查看详情信息。 图8 元数据详情 父主题:
在脚本开发导航栏,选择,右键单击数据连接名称,选择“新建数据库”,配置如表1所示的参数。 表1 新建数据库 参数 是否必选 说明 数据库名称 是 数据库的名称,命名要求如下: DLI:数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 DWS:数据库名称只能包含数字、英文字母和
实时作业概述 DataArts Studio的Migration服务提供了实时数据同步功能,可将数据通过同步技术从一个数据源复制到其他数据源,并保持一致,实现关键业务数据的实时流动。 常用场景:实时分析,报表系统,数仓环境等。 同步特点:实时同步功能聚焦于表和数据,并满足多种灵活
的统计数值;数据质量中指标侧重监控维度,用来管理所有业务指标,包括指标的来源、定义等。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。同时,数据质量模块的业务指标监控即将下线,推荐使用数据架构的业务指标功能。 父主题: 数据架构
否 String 数据连接id,如果是获取技术报告规则评分,请务必填写data_connection_id,database_name,table_name参数值。 database_name 否 String 数据库名称,如果是获取技术报告规则评分,请务必填写data_conn
Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。 在“总览”页面的“资产总览”页签,单击技术资产下数据库的统计数量,即可查看每个库对应的表数量及大小。 图7 查看技术资产 图8 查看数据量
能输出运行结果,不能进行四则运算、逻辑运算和绝对值。 自定义规则模板的定义关系目前最多支持10张表20个字段。 自定义的SQL表达式有如下要求: 关系表达式中最多支持五列输出。 支持最多两张表的入参和两个字段的入参。注:${Column1}为 ${Schema_Table1}的入参
数/天增量包,以避免作业调度受限。 包年包月 套餐包计费情况以实际费用为准。 技术资产数量增量包 技术资产数量增量包提供对应的规格资源。 不同版本的DataArts Studio实例,提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的,您可以在新版本模式的DataArts
基线运维概述 基线运维功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 当前仅北京四、华南广州和上海一局点给用户开放使用。 基线运维功能支持用户通过配置基线任务,实现对任务运行状态及资源使用情况的监控;通过配置运维基线,保障复杂依赖场景下重要数据在预期时
批量修改主题/目录/流程 批量修改主题 当前仅支持信息架构、关系建模、逻辑模型、维度、事实表、汇总表、技术指标模块进行批量修改主题操作,操作流程相同。 此处以批量修改信息架构为例,展示如下: 在DataArts Studio数据架构控制台,单击左侧导航栏中的“信息架构”。 进入后
这三个层次是逐层递进的,先设计概念模型,再进一步细化设计出逻辑模型,最后设计物理模型。 物理模型:是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或DLI。 维度建模 维度建模是从分析决策的需
否 String 数据连接id,如果是获取技术报告规则评分,请务必填写data_connection_id,database_name,table_name参数值。 database_name 否 String 数据库名称,如果是获取技术报告规则评分,请务必填写data_conn
理作业或者启动实时作业时就会提示作业节点调度次数/天超过配额。 包年包月 技术资产数量增量包 技术资产数量增量包用于扩充技术资产数量配额。 不同版本的DataArts Studio实例,默认提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在新版本模式的DataArts