检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要,数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例,介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。
共享版与专享版数据服务的对比 共享版与专享版对比 数据服务当前提供共享版与专享版两种服务方式。其中共享版数据服务即开即用但仅限于存量用户调测使用,专享版数据服务需要购买专享版集群增量包并在集群中管理API。 数据服务共享版当前仅限于华东-上海一、华北-北京四、华南-广州的存量用户
关系图、发布历史和审核历史。 通过关系图,可以查看该复合指标的血缘图。 通过发布历史,可以查看该复合指标的发布历史和不同发布版本之间的差异对比。 编辑复合指标 在数据架构控制台,单击左侧导航树的“技术指标”,然后选择“复合指标”页签,进入复合指标页面。 图2 复合指标 在复合指标
在表的列表中,单击表名称进入表详情页面,可以查看表的详情、关系图、发布历史和审核历史。 图3 关系图 查看发布历史 表发布后,您可以查看表的发布历史、版本对比和发布日志。如果表发布失败,或者数据目录、数据质量同步失败,您可以通过查看发布日志定位问题、重新同步。 在DataArts Studio数
勾选需要对比的版本,单击“版本对比”。 图3 对比版本 单击“版本对比”后,将会打开新窗口,左右两边分别展示出不同版本的脚本内容。两个版本的不同之处将会被标识出来以便用户查看,右上角有上一个不同和下一个不同两个按钮,可以直接跳到上一个或者下一个修改的地方。 图4 版本对比详情 父主题:
在作业目录中,双击作业名称,进入作业开发页面。 在页面右侧单击“版本”,查看版本提交记录,勾选需要对比的版本单击“版本对比”即可。 若只勾选一个版本,则比较选中的版本和开发态的作业属性Json。若勾选两个版本,则比较两个版本的作业属性Json。 图4 对比版本操作界面 父主题: 作业开发
单击“维度表”页签,进入维度表页面。 在列表中,找到所需要的维度表,在右侧单击“发布历史”,将显示“发布历史”页面。 在“发布历史”中,您可以查看维度表的发布历史、版本对比信息以及发布日志。 如果“发布日志”中有错误日志,说明发布失败。您可以单击“重新同步”进行重试,将表同步到DataArts Studio的其他模块中。
传统周期调度依赖和自然周期调度依赖对比 数据开发当前支持两种调度依赖策略:传统周期调度依赖和自然周期调度依赖。 传统周期调度依赖,只支持同周期或者大周期依赖于小周期,不支持小周期依赖于大周期。详细说明如下: 同周期依赖,依赖时间段范围为从当前批次时间往前推一个周期。 跨周期依赖,依赖时间段范围为上一个周期时间段内。
如从数据库、数据仓库、数据湖、湖仓一体等。这些概念分别指的是什么,又有着怎样的联系,同时,华为对应的产品与方案又是什么呢?本文将一一进行对比介绍。 什么是数据库? 数据库是“按照数据结构来组织、存储和管理数据的仓库”。 广义上的数据库,在20世纪60年代已经在计算机中应用了。但
对象存储迁移服务(Object Storage Migration Service,简称OMS)是一种线上数据迁移服务,帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中。简言之,入云迁移、对象存储迁移。更多详情请参见对象存储迁移服务。
的版本记录(最多保留最近10条)。 您可以查看对应版本API的详细内容,也可以删除或发布对应版本。当勾选两个版本时,您也可以通过“版本对比”,对比两个版本之间的差异情况。 图3 API版本管理 父主题: 管理API
息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务(MRS
4b9db0ce886eee16fa97bbac536a3174f9d4e029 CertUtil: -hashfile 命令成功完成。 对比所下载SDK包的SHA256值和下表中对应语言SDK包的SHA256值。如果一致,则表示下载过程不存在篡改和丢包。 表1 SDK包及对应的SHA256值
数据服务 数据服务简介 共享版与专享版数据服务的对比 开发数据服务API 调用数据服务API 查看API访问日志 配置数据服务审核中心
库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情可参考本实践。 通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要,数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本文以DWS数据迁移到MRS
支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量。 作业开发 提供图形化设计器,支持拖拽式工作流开发,快速构建数据处理业务流水线。
脚本开发流程 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持进行SQL、Shell、Python等脚本在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 提供编辑锁定能力,支持多人协同开发场景。 支持脚本的版本管理能力,支持生成保存版本和提交版本。 保存版本时
关系图、发布历史和审核历史。 通过关系图,可以查看该原子指标的血缘图。 通过发布历史,可以查看该原子指标的发布历史和不同发布版本之间的差异对比。 管理原子指标 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“原子指标”页签,进入原子指标页面。 图2 管理原子指标 您可以根据实际需要选择如下操作。
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。数据服务当前提供共享版与专享版两种服务方式,差异请参见共享版与专享版数据服务的对比。其中数据服务共享版即开即用但仅限于存量用户调测使用,数据服务专享版需要通过数据服务专享集群增量包创建集群后使用。 包年包月 计费详情请参见数据服务专享集群增量包价格详情。