检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布脚本任务 在企业模式中,开发者提交脚本版本后,系统会对应产生一个脚本类型的发布任务。开发者确认发包后,待拥有管理员、部署者、DAYU Administrator、Tenant Administrator权限的用户审批通过,然后将修改后的脚本同步到生产环境。 管理员导入脚本时,选择导入提交态,会生成对应的待发布项。
已使用配额:表示当前工作空间下已使用的配额,由系统自动统计。 已分配配额:表示分配给当前工作空间可使用的配额,需要由管理员为每个工作空间分配。 总使用配额:表示当前实例下已使用的总配额,由系统自动统计。 总分配配额:表示当前实例下分配给所有工作空间可使用的总配额,由系统自动统计。 总配额:表示当前
I,都需要发布后才能对外提供服务。 前提条件 已调试成功待发布的API。 约束与限制 不支持单个或多个用户同时发布API到同一专享版集群,系统会提示“当前操作正在执行中,请稍后重试”。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 数据连接中的数据湖认证信息如果发生变化(如密码
数据服务专享版支持将API按照不同版本进行管理,可根据不同的API版本,分别进行调测、发布。 您也可以根据API版本追踪API的变更情况,支持版本对比。系统最多保留最近10条的版本记录,更早的版本记录会被删除。 前提条件 仅专享版支持API版本管理。 API更新版本是通过对已发布的API进行编
补数据监控”,进入补数据的任务监控页面。 用户可以在图1的页面中,查看补数据的任务状态、业务日期、并行周期数、补数据作业名称、创建人、创建时间以及停止运行中的任务。系统支持按补数据名称、创建人、日期和状态进行筛选。 图1 补数据监控主页 在图1的页面中,单击补数据名称,进入图2的页面。在此页面,用户可以查
Studio的Migration服务提供了实时数据同步功能,可将数据通过同步技术从一个数据源复制到其他数据源,并保持一致,实现关键业务数据的实时流动。 常用场景:实时分析,报表系统,数仓环境等。 同步特点:实时同步功能聚焦于表和数据,并满足多种灵活性的需求,例如多对一、一对多,动态增减同步表,不同库表名之间同步数据等。
关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数据以整个企业角度按主题进行相似性组合和合并,并进行一致性处理,为数据分析决策服务,但是并不能直接用于分析决策。 用户在关系建模过程中
维度表与维度一一对应,通过丰富维度中的属性信息构建形成。维度表的生命周期(包括新建、发布、编辑、下线操作)通过维度进行管理,在维度发布成功后,系统会自动创建并发布对应的维度表。 查看维度表发布历史 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。 单击“维度表”页签,进入维度表页面。
置如表5所示的参数。 表5 作业参数预览 功能 说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接FTP或S
SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。 DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 维度建模:在DWR层
数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业,当启动该作业的IAM账号在调度周期内被停用或删除后,系统无法获取用户身份认证信息,导致作业执行失败。 如果作业被低权限的用户启动,也会因为权限不足导致作业执行失败。 若需解决以上两个问题,则可配
便于在IT系统中实现。 在DataArts Studio数据架构的数据建模过程中,用到的建模方法主要有以下三种: 关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数据以整个
“新建业务对象”,系统会自动显示“编码”参数,编码规则支持“自动生成”和“自定义”两种方式。 自动生成:按照配置中心的编码规则自动生成 自定义:输入自定义编码 主题设计中,不同L1层级下的业务对象支持重名。 主题层级数目由用户在配置中心的主题层级中自定义,系统默认有三个层级,从上
创建质量作业”勾选的情况下,完成质量规则的关联后,表发布后就会在DataArts Studio数据质量中自动创建质量作业,如果当前表已经发布,则系统会自动更新质量作业。 关联质量规则并查看质量作业 在DataArts Studio数据架构控制台,单击左侧导航栏的“关系建模”进入关系建模页面。
基线承诺时间是任务运行成功的最晚时间点。即面向数据应用,任务承诺在该时间点前完成。如果希望为运维人员预留一定的时间处理异常,用户可以为基线设置预警余量,则系统会将承诺时间-预警余量作为触发报警的预警时间,判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量
治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据,加快数据变现,实现数字化转型。 DataArts Studio使用流程简介 使用DataArts Studio平台,通常包括以下步骤:
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,