检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入导出 数据架构支持流程、主题、码表、数据标准、关系建模表(物理表)、逻辑实体、维度建模维度/事实表、业务指标、技术指标、数据集市汇总表的导入导出,暂不支持时间限定、审核中心和配置中心数据的导入导出。 本例中以导入和导出关系建模表为例说明如何进行导入导出,其他数据操作类似。如果您想了解其他数据如何导入导出以及使用场景等
数据源和资源组网络不通如何排查? 问题描述 配置Migration实时集成作业时,检测源端、目的端数据源与资源组的连通性报异常。 图1 连通性检测异常 解决方案 请根据异常项参考下表进行排查。 表1 网络不通排查方法 类型 异常项 方法 数据源 - CDM异常 实例状态检查异常 检查集群是否在及是否正常运行
元数据简介 按照传统的定义,元数据(Metadata)是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中,元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据
文件格式介绍 在创建CDM作业时,有些场景下源端、目的端的作业参数中需要选择“文件格式”,这里分别介绍这几种文件格式的使用场景、子参数、公共参数、使用示例等。 CSV格式 JSON格式 二进制格式 文件格式的公共参数 文件格式问题解决方法 CSV格式 如果想要读取或写入某个CSV文件
步骤1:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作
数据治理实施方法论 数据治理实施方法论按照数据治理成熟度评估->评估现状、确定目标、分析差距->计划制定、计划执行->持续监测度量演进的关键实施方法形成数据治理实施闭环流程。 图1 数据治理实施方法论 这也遵循了PDCA(Plan-Do-Check-Action)循环的科学程序,同时结合数据治理工作的特点设计了两个层面的度量评估
设置API可见 操作场景 当需要修改API在服务目录中的可见范围时,可以通过“设置可见”功能或编辑API中的“服务目录可见性”参数进行设置。 前提条件 已创建API。 通过“设置可见”功能修改API可见范围 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”
基线运维约束限制 使用基线运维特性时,为了保证任务的优先级生效,需要注意以下要求: MRS约束限制: 在MRS集群场景中,优先级配置只支持使用MRS API模式的数据连接类型,不支持代理模式的数据连接。 DataArts Studio的MRS节点支持优先级功能,如果MRS集群如果是安全模式
文件格式介绍 在创建CDM作业时,有些场景下源端、目的端的作业参数中需要选择“文件格式”,这里分别介绍这几种文件格式的使用场景、子参数、公共参数、使用示例等。 CSV格式 JSON格式 二进制格式 文件格式的公共参数 文件格式问题解决方法 CSV格式 如果想要读取或写入某个CSV文件
MySQL到DWS参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip
车联网大数搬迁入湖简介场景介绍 场景描述 为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM(Cloud Data Migration,简称CDM)助力H公司做到代码“0”改动、数据“0”丢失迁移上云。 约束限制
数据开发的并行执行节点数是多少? DataArts Studio的并行执行节点数与作业节点调度次数/天配额有关,对应关系如下表所示。 其中的作业节点调度次数/天配额可通过DataArts Studio实例卡片上的“更多 > 配额使用量”入口查看,其中的“作业节点调度次数/天”总量即为当前实例配额
数据指标概述 在DataArts Studio数据指标的使用中,指标定义用于指导指标开发,用于定义指标的设置目的、计算公式等,并不进行实际运算,可与指标开发进行关联。而指标开发是指标定义的具体实现,定义了指标如何计算。 数据指标功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员
PostgreSQL到DWS参数调优 源端优化 PostgreSQL抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置,且可以通过单击高级配置的“查看编辑”按钮,添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名
Oracle到DWS参数调优 源端优化 Oracle抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置,且可以通过单击高级配置的“查看编辑”按钮,添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明
创建IAM用户并授予DataArts Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)。通过IAM,您可以: 根据企业的业务组织,在您的华为账号中
创建IAM用户并授予DataArts Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)。通过IAM,您可以: 根据企业的业务组织,在您的华为账号中
下线/删除API 操作场景 已发布的API因为其他原因需要停止对外提供服务,可以将API从相关环境中下线,相关操作请参见下线API。 下线后的API如果要继续使用,需要重新进行发布操作,但需注意下线API不会保留原有的授权信息。 下线后的API如果确认不再提供服务,可以将API删除
下载中心 数据开发模块对于SQL脚本执行的结果支持直接下载和转储。SQL执行结果进行下载和转储后,可以通过下载中心查看下载和转储的结果。 约束与限制 仅SQL脚本和单任务SQL作业运行完成并且返回结果后,执行下载和转储,在下载中心生成记录,可以查看下载和转储的结果。 下载中心 下载中心的下载记录会定期老化
配置目录权限 本章介绍如何通过目录权限策略,基于用户、用户组或角色,对数据开发中脚本和作业的目录、数据服务专享版中API的目录以及数据架构中的物理模型和逻辑模型进行权限控制。 当工作空间内未配置数据开发、数据服务和数据架构的目录权限策略时,所有用户默认可以查看并操作数据开发、数据服务和数据架构的目录及其中的资源项