检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过代理连接:通过Agent(即CDM集群)进行代理,以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。 MRS API连接:以MRS API的方式访问MRS集群。MRS API连接仅支持2.X及更高版本的MRS集群。 选择MRS API连接时,有以下约束: MRS API连接
据质量会对数据进行校验,并阻塞生产链路,以避免问题数据污染扩散。同时,数据质量提供了历史校验结果的管理,以便您对数据质量分析和定级。 另外,数据质量监控DQC支持根据数据架构中的数据标准,自动生成标准化的质量规则,并进行周期性的监控。 数据质量监控主界面包括以下功能模块。 功能 说明
填写单个IP,IP应为MRS集群管理面的浮动IP。 填写3个IP时,应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP。 MRS集群名 是 使用集群名模式时,是必选项。 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选
使用集群名模式时,通过选择已有集群名称进行连接配置。仅可选择本项目内且企业项目相同的MRS集群进行连接。 使用连接串模式时,通过手动输入Manager IP,并打通本连接Agent(即CDM集群)和MRS集群之间的网络,则可以访问其他项目或企业项目的MRS集群。 MRS集群名 是
Doris。 MRS集群名 是 当选择MRS Doris时有效。 说明: 目前仅支持MRS 3.2.0及以上MRS集群版本。 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明:
通过代理连接:通过Agent(即CDM集群)进行代理,以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。 MRS API连接:以MRS API的方式访问MRS集群。MRS API连接仅支持2.X及更高版本的MRS集群。 选择MRS API连接时,有以下约束: MRS API连接仅支持
0,100)。 数据表 表评分计算公式:∑(表关联的所有规则评分*规则权重)/∑规则权重 数据库 数据库下所有数据表评分的加权求平均值,即:∑数据库下所有数据表评分/表的数量。 数据连接 数据连接下所有数据库评分的加权平均值,即:∑数据连接下所有数据库的评分/数据库的数量。 在DataArts
Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。 选择“数据权限 > 数据目录权限”,单击“新建”,配置数据目录权限规则。 规则名称:设置数据权限规则的名称。 类型:当前支持从标签、密级和分类的维度进行过滤筛选。 范围:选择实际的标签、密级和分类。 用户:配置的数据目录权限规则所适配的用户。
但不涉及数据治理,适用于开发者试用、小规模验证等场景。 企业版:基于MRS Hive的出租车出行的数据治理流程 MRS Hive 企业版 数据集成+数据开发+数据治理 需求全功能数据治理能力,适用于有完善的数据管理团队和体系,要进行企业信息架构、数据标准、数据模型、数据指标的落地,匹配完整的DAYU数据治理方法论。
率;统一数据标准,轻松融合数据;建立跨平台的数据提取和数据追溯,实现开放共享,打通信息孤岛;保护隐私数据,构建可信数据。 以“健康码”为依托的各类政务小程序,正在加速提升市民信息化应用能力,基于数据治理、数据共享,很可能在不久以后,我们就可以实现“一码走天下”。将线上疫情应急治理
CDM迁移近一个月的数据 备HBase集群中约10TB数据,最近一个月新增的数据量约60TB,总共约70TB。H公司安装的云专线为20GE端口,支持CDM超大规格的集群(cdm.xlarge),综合考虑迁移时间、成本、性能等,这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。
节点状态为成功,为什么日志显示运行失败? 调用数据开发API报错Unknown Exception? 调用创建资源的API报错“资源名不合法”是什么原因? 补数据的作业实例都是成功的,为什么补数据任务失败了? DWS数据连接可视化建表,报错提示“表已存在”,但是展开数据连接看不到该表? 调度MRS spark作业报错“The
medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MRS HDFS。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MRS
表是否可配置生命周期管理? 问题描述 表是否可配置生命周期管理。 解决方案 目前暂不支持表生命周期管理的配置。 父主题: 数据架构
资产总览可展示业务资产、技术资产和指标资产的情况。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表,资产总览展示业务对象、逻辑实体、业务属性的数量及其详情。 技术资产来自于数据连接和元数据采集任务,资产总览展示数据库、数据表、数据量的数量及其详情。 指标资产来自于数据架构组件中定义并发布过的业务指标,资产总览展示业务指标及其详情。
步骤8:数据资产查看 在DataArts Studio数据目录模块中,您可以查看数据地图,详情请参见数据目录章节。数据地图包含业务资产和技术资产,业务资产就是指逻辑实体和业务对象,技术资产就是指数据连接、数据库对象等。 本章节介绍如何在DataArts Studio数据目录中查看
失败。 数据质量当前不支持MRS Hive组件的严格模式。 数据库 选择配置的数据质量规则所应用到的数据库。 说明: 数据库基于已建立的数据连接。 当“规则类型”选择“库级规则”,数据对象选择对应的数据库即可。 数据表 选择配置的数据质量规则所应用到的表。 说明: 数据表与数据库强相关,基于已选择的数据库。
数据集成配置数据搬迁 当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业,可以导出到本地保存。
如果需要与非安全模式集群的MRS Ranger创建连接,则需要确保CDM集群为2.10.0.300及以上版本,或联系客服或技术支持人员升级CDM集群中的dlg-agent组件版本。 MRS集群名 是 使用集群名模式时,是必选项。 选择所属的MRS集群。仅支持连接MRS云服务,自建Hado
填写单个IP,IP应为MRS集群管理面的浮动IP。 填写3个IP时,应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP。 MRS集群名 是 使用集群名模式时,是必选项。 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选