检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
关系建模 物理模型是指按照一定规则和方法，将逻辑模型中所定义的实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的表关系图(Table Relationship Diagram)的一种物理描述。 在关系建模中，您可以新建SDI层和DWI层两个模型，模型最终是通过物理建模进
您可以通过运维调度功能，查看作业以及作业实例的运行状态。 在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。 单击“批作业监控”页签，进入批作业监控界面。 批作业监控提供了对批处理作业的状态进行监控的能力。您可以查看批作业的调度状态、调度频率、调度开始时间等信息，勾选作业名称前的复选框，并
索服务（DLI）对某电商商城的用户、商品、评论数据（脱敏后）进行分析，输出用户和商品的各种数据特征，可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间，您可以学习到数据开发模块脚本编辑、作业编辑、作业调度等功能，以及DLI的SQL基本语法。 本入门示例涉及DataArts
最小化权限授权实践 实践场景及目标 某数据运营工程师专职负责数据质量监控相关工作，仅需要服务数据质量组件的操作权限。 图1 权限体系 服务的权限体系如图1所示。如果项目管理员直接赋予该数据运营工程师IAM账号“DAYU User系统角色+工作空间开发者角色”权限，则会出现如下非必需权限过大的风险：
击使用EL表达式编辑。 相关作业 否 选择相关作业，您可以选择批作业或实时作业，最多只能选择10个作业。 相关作业参数用于节点运行后，方便跳转到对应作业的监控列表。选择完相关作业，单击“前往监控”在“作业监控”页面选择DIS Client节点时，单击页面下方的“查看相关作业”按钮
单击主作业画布上方的“测试运行”按钮，测试作业运行情况。主作业运行后，会通过For Each节点自动调用运行子作业。 单击左侧导航栏中的“实例监控”，进入实例监控中查看作业运行结果。 待作业运行完成后，从实例监控中查看子作业foreach的运行结果，如图10所示。可以看到运行结果是符合预期的，当前HIVE SQL执行
Data Migration 功能 该节点用于执行一个集成作业，Data Migration节点支持离线处理集成作业和实时处理集成作业。 参数 用户可参考表1和表2配置Data Migration节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含
新建一个质量作业 场景说明 开发质量作业是为了监控数据质量。本章以新建一个质量作业为例，介绍如何开发质量作业。 操作步骤 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 创建规则模板。 单击左侧导航“规则模板”，默认展示系统自定
（可选）管理作业 复制作业 复制名称和重命名作业 移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题： 作业开发
作业的计划时间和开始时间相差大，是什么原因？ 问题描述 如图所示，在作业实例监控页面查看作业运行记录时，发现作业的计划时间和开始时间相差较大。其中计划时间是作业预期开始执行的时间，即用户为作业配置的调度计划。开始时间是作业实际开始执行的时间。 图1 问题示例图 可能原因 这是因为
据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。
一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。 码表 通常只包括一系列允许的值和附加文本描述，与数据标准关联用于生成值域校验质量监控。 数仓规划 数据架构默认的数仓分层包含SDI、DWI、DWR、DM（Data Mart）等4层，支持用户自定义数仓分层。数仓规划对数仓分层以及数仓模型进行统一管理。
源文件或目录 是 OBS桶中需要被管理的OBS文件或所在目录。 目的目录 是 存放待移动或复制OBS文件的新目录。 文件过滤器 否 输入文件过滤的通配符，满足该过滤条件的文件才会被移动或复制。当不指定该参数时，默认移动所有源文件。例如：匹配文件名以.csv结尾的文件，输入通配符*.csv。 表2
据的处理分析流程。 数据质量 数据全生命周期管控，数据处理全流程质量监控，异常事件实时通知。 数据目录 提供企业级的元数据管理，厘清信息资产。通过数据地图，实现数据血缘和数据全景可视，提供数据智能搜索和运营监控。 数据服务 数据服务定位于标准化的数据服务平台，提供一站式数据服务开
签。如需解锁作业标签，请参考锁定与解锁作业标签。 监控某个作业标签下的作业 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 选择“作业标签”，进入“作业标签管理”页面。 单击作业标签名对应的“前往监控”，可进入作业监控界面，该界面展示具有此标签的所有作业。 锁定与解锁作业标签
历史作业实例告警策略 通知管理中配置的告警通知能监控的作业实例天数范围，配置默认为7天，即对7天内满足触发条件的作业实例都能正常上报告警通知，但7天之前的作业实例不会再次上报告警。 例如：告警监控天数配置为2天时，昨天和今天的作业实例触发监控时会告警，但是前天以及3天前的作业实例，即使满足触发条件也不会再次发送通知告警。
湖工厂”、“DLF”均可用于指代“数据开发”模块。 数据开发简介 使用数据开发模块，用户可进行数据管理、脚本开发、作业开发、作业调度、运维监控等操作，轻松完成整个数据的处理分析流程。 图1 数据开发模块架构 数据开发的主要功能 表1 数据开发的主要功能 支持的功能 说明 数据管理
的遵从 5 数据质量 有哪些需求，需要获得什么价值？ 监控数据质量 支持更多数据源和更多规则的监控 作业数量规模是多少？ 本示例仅1个 用户可手动创建几十个作业，也可以在数据架构中配置自动生成数据质量作业。如果调用数据质量监控的创建接口，则可创建超过100个质量作业 用户的使用场景？
用于创建并运行实时处理集成作业，提供数据上云和数据入湖的集成能力。 DataArts Studio实例中默认不包含数据集成资源组，如果您需要使用数据离线、实时迁移功能，请创建数据集成资源组增量包。 背景信息 创建数据集成资源组增量包，系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。
创建质量作业”勾选的情况下，将字段关联数据标准后，表发布上线后，就会自动生成一个质量作业，每个关联了数据标准的字段会生成一个质量规则，基于数据标准对字段进行质量监控，您可以前往DataArts Studio数据质量模块的“质量作业”页面进行查看。 或者单击“从数据标准导入”，可以选择一个数据标准与字段相关联。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
