-
质量作业和对账作业有什么区别? - 数据治理中心 DataArts Studio
质量作业和对账作业有什么区别? 质量作业可将创建的规则应用到建好的表中进行质量监控。 对账作业支持跨源数据对账能力,可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要,而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。
-
关系建模和维度建模的区别? - 数据治理中心 DataArts Studio
关系建模和维度建模的区别? 关系建模为事务性模型,对应三范式建模。 维度建模为分析性模型,主要包括事实表、维度表的设计,多用于实现多角度、多层次的数据查询和分析。 DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。 父主题: 数据架构
-
数据架构中的指标与数据质量的指标的区别? - 数据治理中心 DataArts Studio
数据架构中的指标与数据质量的指标的区别? 数据架构中指标侧重业务维度,用来衡量目标总体特征的统计数值;数据质量中指标侧重监控维度,用来管理所有业务指标,包括指标的来源、定义等。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。 父主题: 数据架构
-
环境变量、作业参数、脚本参数有什么区别和联系? - 数据治理中心 DataArts Studio
环境变量中支持定义变量和常量,环境变量的作用范围为当前工作空间。 变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量,这个值在不同的空间下配置不一样,导出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。 图1 环境变量 作业参数中支持定义参数和常量,作业参数的作用范围为当前作业。
-
数据质量 - 数据治理中心 DataArts Studio
数据质量 质量作业和对账作业有什么区别? 如何确认质量作业或对账作业已经阻塞? 如何手工重启阻塞的质量作业或对账作业? 怎样查看质量规则模板关联的作业? 用户在执行质量作业时提示无MRS权限怎么办?
-
CDM与其他数据迁移服务有什么区别,如何选择? - 数据治理中心 DataArts Studio
Migration,简称CDM)是一种高效、易用的数据集成服务。CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。更多详情请参见云数据迁移服务。 CDM进行数
-
停止作业实例 - 数据治理中心 DataArts Studio
是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 无 请求示例 POST /v1/b384b9e9ab9b4ee8994c8633aab
-
DataArts Studio企业模式概述 - 数据治理中心 DataArts Studio
对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规
-
新建汇总表 - 数据治理中心 DataArts Studio
新建汇总表 汇总逻辑表是由一个特定的分析对象(如会员)及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度(如会员),汇总逻辑表面向用户提供了以统计粒度(如会员)为主题的所有统计数据(如会员主题集市)。 汇总表分为“手工创建”和“自动汇聚”,此处仅描述手工创建场景。
-
区域和可用区 - 数据治理中心 DataArts Studio
可用区故障的影响。一个区域内可以有多个可用区,不同可用区之间物理隔离,但内网互通,既保障了可用区的独立性,又提供了低价、低时延的网络连接。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
-
数据架构 - 数据治理中心 DataArts Studio
数据架构 码表和数据标准有什么关系? 关系建模和维度建模的区别? 数据架构支持哪些数据建模方法? 规范化的数据如何使用? 数据架构支持逆向数据库吗? 数据架构中的指标与数据质量的指标的区别? 为什么关系建模或维度建模修改字段后,数据库中表无变化? 表是否可配置生命周期管理?
-
标签管理 - 数据治理中心 DataArts Studio
标签是用来标识数据的业务含义,是相关性很强的关键字,可以帮助您对资产进行分类和描述,以便于检索。 为方便管理技术资产,可以从业务角度定义标签,并与技术资产关联,比如标识某个表是SDI贴源数据层、DWI数据整合层等。 标签和分类 “标签”是相关性很强的关键字,帮助用户对资产进行分类和描述,以便于检索。
-
调用API - 数据治理中心 DataArts Studio
授权成功后,可以在应用管理详情页面查看已绑定的API。 如果已绑定API列表中包含无需绑定的API,在此API所在行的操作列,单击“解绑”,将无需绑定的API删除。 如果需要调试已绑定的API,单击“测试”,进入调试页面。 如果需要对已绑定的API延长授权时间,单击“续约”。 调用API
-
定义识别规则 - 数据治理中心 DataArts Studio
删除数据密级、分类和识别规则,其他普通用户无权限操作。 敏感数据识别过程中,如果规则为内容识别类型(即内置规则和内容识别类型的自定义规则),则仅当数据表中某字段匹配规则的记录数/总记录数>=指定阈值(默认80%)时,才认为该字段为敏感字段,并为之匹配相应密级和分类。 创建数据识别规则
-
作业的计划时间和开始时间相差大,是什么原因? - 数据治理中心 DataArts Studio
作业的计划时间和开始时间相差大,是什么原因? 如图所示,在作业监控页面查看作业运行记录时,发现作业的计划时间和开始时间相差较大。其中计划时间是作业预期开始执行的时间,即用户为作业配置的调度计划。开始时间是作业实际开始执行的时间。 图1 问题示例图 这是因为在数据开发中,单个作业最
-
引用脚本模板和参数模板的使用介绍 - 数据治理中心 DataArts Studio
引用脚本模板和参数模板的使用介绍 使用场景 该功能适用于以下场景: Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中,MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本,同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。
-
日志提示解析日期格式失败时怎么处理? - 数据治理中心 DataArts Studio
器,将日期字段的格式转换为云搜索服务的目的端格式。 解决方法 编辑作业,进入作业的字段映射步骤,在源端的时间格式字段后面,选择新建转换器,如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”,目前表达式转换支持字符串和日期类型的函数,语法和Java的字符串和时间格式函数非
-
配置MySQL源端参数 - 数据治理中心 DataArts Studio
数,表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,
-
数据服务专享版发布的API如何绑定公网和域名? - 数据治理中心 DataArts Studio
数据服务专享版发布的API如何绑定公网和域名? 进入数据服务模块,单击页面左侧“专享版”。 单击API管理,找到需要发布的API,选择操作列的“更多>发布”。 在弹出的发布页面中选择更多,选择网关类型为APIGW,即API网关服务。并选择分组。 发布完成后即可在对应的API网关服务中
-
MySQL数据迁移到MRS Hive分区表 - 数据治理中心 DataArts Studio
Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户