-
数据架构概述 - 数据治理中心 DataArts Studio
在DataArts Studio数据架构的数据建模过程中,用到的建模方法主要有以下两种: 关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数据以整个企业角度按主题进行相似性组合和合并
-
数据架构示例 - 数据治理中心 DataArts Studio
数据说明如下: 表1 出租车行程数据 序号 字段名称 字段描述 1 VendorID 供应商编号 取值如下: 1=A Company 2=B Company 2 tpep_pickup_datetime 上车时间 3 tpep_dropoff_datetime 下车时间 4 passenger_count
-
开发Shell脚本 - 数据治理中心 DataArts Studio
Shift + L:鼠标双击相同的字符串后,为所有相同的字符串添加光标,实现批量修改 Ctrl + D:删除一行 Shift + Ctrl + U:解锁 Ctrl + Alt + K:同词选择 Ctrl + B:格式化 Ctrl + Shift + Z:重做 Ctrl + Enter
-
MySQL数据迁移到DWS - 数据治理中心 DataArts Studio
如果需要通过Internet访问DWS,只能使用COPY模式。 COPY 单击“保存”完成创建连接。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从MySQL导出数据到DWS的任务。
-
步骤2:数据集成 - 数据治理中心 DataArts Studio
在本示例中,“OBS桶”配置为在数据源准备中创建的桶“fast-demo”,您需要前往OBS控制台,在桶中创建一个目录,例如err_data,然后再将“脏数据目录”配置为该目录。 单击“保存并运行”完成作业的创建。 返回“表/文件迁移”页面后,可在作业列表中查看到新建的作业。
-
管理脱敏算法 - 数据治理中心 DataArts Studio
Hive列加密不支持视图以及Hive over HBase场景。 支持配置加密类型。 新建脱敏算法 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。
-
创建并管理工作空间 - 数据治理中心 DataArts Studio
具备DAYU User账号权限的用户,只有当其被添加为工作空间的成员后,才可以访问该工作空间。
-
新建衍生指标 - 数据治理中心 DataArts Studio
通用限定:统计的业务范围,筛选出符合业务规则的记录(类似于SQL中where后面的条件,不包括时间区间)。 前提条件 在新建衍生指标之前,请先确认原子指标已经新建并通过审核。 如果衍生指标将使用统计维度或时间限定,请先确认维度或时间限定已经新建并通过审核。
-
业务指标 - 数据治理中心 DataArts Studio
*指标管理部门 指标管理的Owner,负责指标定义、维护和解释,并提供指标数据。 *指标责任人 填写指标解释人(华为账号名称)。 关联技术指标 当前业务指标在规范设计中的实现。 导入结果会在导入对话框的“上次导入”中显示。如果导入成功,单击“关闭”完成导入。
-
基本概念 - 数据治理中心 DataArts Studio
关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数据以整个企业角度按主题进行相似性组合和合并,并进行一致性处理,为数据分析决策服务,但是并不能直接用于分析决策。
-
DLI Flink Job - 数据治理中心 DataArts Studio
用户可以依赖DLI提供的Spark或者Flink基础镜像,使用Dockerfile将作业运行需要的依赖(文件、jar包或者软件)打包到镜像中,生成自己的自定义镜像,然后将镜像发布到SWR(容器镜像服务)中,最后在此选择自己生成的镜像,运行作业。
-
IF条件判断教程 - 数据治理中心 DataArts Studio
--从student_score表中统计成绩在85分以上的人数-- SELECT count(*) FROM student_score WHERE score> "85" ; 图8 HIVE SQL脚本执行结果 配置For Each节点属性,如图9所示。
-
IF条件判断教程 - 数据治理中心 DataArts Studio
--从student_score表中统计成绩在85分以上的人数-- SELECT count(*) FROM student_score WHERE score> "85" ; 图8 HIVE SQL脚本执行结果 配置For Each节点属性,如图9所示。
-
配置空间权限集 - 数据治理中心 DataArts Studio
前提条件 配置权限集前,已在管理中心创建数据仓库服务(DWS)、数据湖探索(DLI)、MapReduce服务(MRS Hive)和MapReduce服务(MRS Ranger)类型的数据连接,请参考新建数据连接。
-
实例监控 - 数据治理中心 DataArts Studio
说明: 如果所选的时间段内没有可以重跑的作业实例,系统会报错“Job xxx have no instances to rerun”。 重跑作业实例列表 仅当“重跑类型”选择“重跑当前作业及其上下游作业实例”时,才需要配置。