检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载中心 数据开发模块对于SQL脚本执行的结果支持直接下载和转储。SQL执行结果进行下载和转储后,可以通过下载中心查看下载和转储的结果。 约束与限制 仅SQL脚本和单任务SQL作业运行完成并且返回结果后,执行下载和转储,在下载中心生成记录,可以查看下载和转储的结果。 下载中心 下
企业版:基于MRS Hive的出租车出行数据治理流程 示例场景说明 步骤1:流程设计 步骤2:数据准备 步骤3:数据集成 步骤4:元数据采集 步骤5:数据架构设计 步骤6:数据开发处理 步骤7:数据质量监控 步骤8:数据资产查看 步骤9:服务退订
Studio,仅能选择按照新版本模式的版本进行购买,具体包含免费版、初级版、专家版和企业版版本。 对于切换前已购买的DataArts Studio,实例依然为旧版本模式的版本,具体包含初级版、基础版、高级版、专业版和企业版版本。 新版本模式相对于旧版本模式,价格门槛更低、资源拓展更加灵活,强力
下载EXCEL模板 功能介绍 下载EXCEL模板。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/export/excel-template 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作。然后进入到对应的工作空间,即可开始使用DataArts Studio。 本入门示例,为了演示DataArts Studio数据治理的全流程,华为账号需要具有DataArts
存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过
ype,单击汇总表名称,即可查看汇总表的详情信息。在详情页面,进入“数据预览”页签,可查看汇总表的预览数据。 图3 数据预览 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
下载资源任务文件 功能介绍 该接口用于下载资源文件。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/resource/download 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
“创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 下载日志”,选择下载日志类型。 图2 下载日志类型 确认后,即可下载日志到本地。 父主题: 创建并管理CDM集群
华为数据治理实践 华为数据治理的规范流程建设,完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践,建立实体化的数据管理组织,向公司数据管理部汇报,同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架,指导各领域进行分类管理。华为信
步骤3:数据集成 通过DataArts Studio平台将源数据上传或者接入到云上。 可以将离线或历史数据集成到云上。提供同构/异构数据源之间数据集成的服务,支持单表/文件迁移、整库迁移、增量集成,支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
流量)两个维度。退订DataArts Studio服务后不会再产生API调用,您也可以直接删除发布到APIG网关上的API。 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
似如下的结果: 1 SELECT * FROM demo_dm_db.dws_payment_type; 图22 查询结果 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
是否需要数据访问记录? 本示例不涉及 - 数据访问方式,内网还是外网? 本示例不涉及 - 数据服务开发人员数量是多少? 本示例不涉及 - 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
正常:表示实例正常结束,且执行结果符合预期。 告警:表示实例正常结束,但执行结果不符合预期。 异常:表示实例未正常结束。 --:表示实例正在运行中,无执行结果。 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
在左侧导航树中,单击“审核中心”,在“待我审核”页签的列表中选中需要审核的对象,然后单击“批量审核”。 输入审核意见后,单击“批量通过”完成审核。 父主题: 企业版:基于MRS Hive的出租车出行数据治理流程
案例:车联网大数据业务上云 为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM(Cloud Data Migration,简称CDM)助力H公司做到代码“0”改动、数据“0”丢失迁移上云。 案例:搭建实时报警平台
如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作。然后进入到对应的工作空间,即可开始使用DataArts Studio。