-
源端为HBase/CloudTable - 数据治理中心 DataArts Studio
fromJobConfig.delimiter 否 String 用于切分Rowkey的分隔符,若不设置则不切分,例如“|”。 fromJobConfig.startTime 否 String 时间区间左边界(包含该值),格式为“yyyy-MM-dd hh:mm:ss”。
-
新建维度 - 数据治理中心 DataArts Studio
External:数据存储位置为OBS的表。当“表类型”设置为External时,需设置“OBS路径””参数。OBS路径格式如:/bucket_name/filepath。 DWS模型的表支持以下表类型: DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。
-
新建事实表 - 数据治理中心 DataArts Studio
Where条件:可依据用户输入的where条件对字段进行过滤。 生成异常数据:开启此项,表示异常数据将按照配置的参数存储到规定的库中。
-
关联质量规则 - 数据治理中心 DataArts Studio
(可选)质量规则的检查范围默认是全表,如需要精确定位分区查询数据,请填写where条件。 图8 where条件开关 查看关联质量规则的结果,如果显示成功,单击“确定”。如果显示失败,请查看失败原因,等问题处理后,再重新关联质量规则。
-
步骤8:数据目录管理 - 数据治理中心 DataArts Studio
例如,在资产列表中,找到事实表fact_stroke_order,单击事实表名称,即可查看事实表的详情信息。在详情页面,进入“血缘”页签,可查看事实表的输入输出血缘信息。
-
查询规格详情 - 数据治理中心 DataArts Studio
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。
-
脚本及作业中引用参数使用介绍 - 数据治理中心 DataArts Studio
INSERT INTO B FROM (SELECT * FROM A WHERE DATE = ${DATE}) 图6 开发脚本 脚本dws_030903编写完成后,保存并提交此脚本的最新版本。 开发一个批处理作业。开发作业时,您需要配置节点属性参数。
-
MD5校验文件一致性 - 数据治理中心 DataArts Studio
该功能由目的端作业参数“校验MD5值”控制,读取文件后写入OBS时,通过HTTP Header将MD5值提供给OBS做写入校验,并将校验结果写入OBS桶(该桶可以不是存储迁移文件的桶)。如果源端没有MD5文件则不校验。
-
DataArts Studio企业模式概述 - 数据治理中心 DataArts Studio
对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。
-
DLI SQL - 数据治理中心 DataArts Studio
或"spark.scheduler.pool"开头。 环境变量的key为dli.sql.shuffle.partitions或dli.sql.autoBroadcastJoinThreshold时,不能包含><符号。
-
MD5校验文件一致性 - 数据治理中心 DataArts Studio
该功能由目的端作业参数“校验MD5值”控制,读取文件后写入OBS时,通过HTTP Header将MD5值提供给OBS做写入校验,并将校验结果写入OBS桶(该桶可以不是存储迁移文件的桶)。如果源端没有MD5文件则不校验。
-
调试API - 数据治理中心 DataArts Studio
表1 调试API 参数名称 说明 参数配置 Query的参数与参数值。 集群配置 仅专享版支持,选择调试API所依托的实例。 不同类型的请求,调试界面展现的信息项有差异。 添加请求参数后,单击“开始测试”。 右侧返回结果回显区域打印API调用的Response信息。
-
常见错误码参考 - 数据治理中心 DataArts Studio
Cdm.0017 与MRS集群kerberos认证失败。 请确认kerberos认证用户和密码是否很强,修改正确后,请重试。 Cdm.0018 作业和连接内容不合法。 请联系客服或技术支持人员协助解决。 Cdm.0019 IP 和端口无效。
-
设置工作空间配额 - 数据治理中心 DataArts Studio
DAYU User账号,但为当前工作空间的管理员。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
-
备份管理 - 数据治理中心 DataArts Studio
您可在还原资产前修改备份路径下的backup.json文件,支持修改连接名(connectionName)、数据库名(database)和集群名(clusterName)。 图2 还原资产 单击“确定”。 父主题: 运维调度
-
步骤5:数据架构 - 数据治理中心 DataArts Studio
本章节为您介绍如何在DataArts Studio平台的“数据架构”模块中实现模型设计,流程如下。 添加审核人 在数据架构中,数据建模流程中的步骤都需要经过审批,因此,需要先添加审核人。DAYU Administrator角色或该工作空间管理员,具备对应的添加审核人的权限。
-
查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? - 数据治理中心 DataArts Studio
在授权界面,选择需要给用户组添加的权限,搜索需要的权限名称,请配置为OBS OperateAccess或OBS Administrator。 图3 给用户组授权 单击“下一步”,选择最小授权范围,系统默认“所有资源”。 单击“确定”。
-
MRS Spark Python - 数据治理中心 DataArts Studio
输入参数信息,多个参数间使用Enter键分隔。 执行程序参数 否 输入MRS的执行程序参数。 不同参数间用空格隔开,可通过在参数名前添加@的方式防止参数信息被明文存储。 属性 否 输入key=value格式的参数,多个参数间使用Enter键分割。
-
计费说明 - 数据治理中心 DataArts Studio
数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。数据服务当前提供共享版与专享版两种服务方式,差异请参见共享版与专享版数据服务的对比。
-
开发一个DLI Spark作业 - 数据治理中心 DataArts Studio
已开通数据湖探索服务DLI,并创建Spark集群“spark_cluster”,为Spark作业提供运行所需的物理资源。