检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以双机双节点的配置数据治理平台集群为例,说明在数据治理平台中如何配置集群。
图5 多应用集群 父主题: 睿治数据治理平台
产品WAR包单机部署 TOMCAT上部署数据治理平台 Weblogic上部署数据治理平台 Tongweb6.1上部署数据治理平台 金蝶10上部署数据治理平台 TAS2.8.5上部署数据治理平台 Docker上部署数据治理平台 父主题: 睿治数据治理平台
实时处理服务部署 Linux环境单机版部署 Linux环境集群版部署 “银河麒麟”系统单机版部署 Hdfs、大数据相关驱动安装与Standalone模式local配置 Standalone模式spark配置 父主题: 睿治数据治理平台
集群检查 以admin身份登录数据治理平台,依次进入“系统设置 > 性能与维护 > 集群信息”,检查如下信息: 检查所有配置节点是否存在 检查所有节点在线状态 检查所有节点同步状态 检查是否存在控制节点,且只有一个 注意事项 集群内各服务器版本需保持一致:只能同一版本的服务器做集群
8080/edg 数据库权限分配 表2 权限分配 数据库 分配权限 Oracle connect、resource、create any view 说明: oracle12c及以上需要alter user xxx quota unlimited on users 父主题: 睿治数据治理平台
资源库数据经过数据质检、分析来源并接入到数据治理平台对应的模型中(对应人口库模型构建环节)。 数据治理平台的数据经过落标与清洗、融合与发布将数据发布到DWS发布库上。 发布库的数据经过挂载资源目录环节将资源挂载到共享门户上。 父主题: 场景实践
Standalone模式spark配置 数据工厂应用内配置 图1 计算引擎配置 参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径,jar包需要放在spark所在服务器上。如果spark是集群环境,则每个节点都需要放入jar
快速入门指引 数据治理中心DataArts Studio是具备数据全生命周期管理和智能数据管理能力的一站式数据治理平台,基于数据湖底座,提供数据集成、开发、治理等能力。
Redis安装 Redis支持32位和64位的Windows和Linux操作系统。 Windows下安装redis 下载地址:https://github.com/MSOpenTech/redis/releases 图1 下载 根据需要选择合适版本的Redis,下载zip包,下载完成后解压缩
Linux环境集群版部署 环境准备 下面以三台操作系统为centos7.4的服务器为例。 表1 环境准备 主机ip 主机名 172.17.3.252 test252 172.17.3.253 test253 172.17.3.254 test254 环境部署 如果部署过单机版,需先停止所有服务并卸载所有组件才能继续完成安装
“银河麒麟”系统单机版部署 下载edi-RTPS-kylin.zip文件,解压后进入edi-RTPS-kylin目录下的conf目录,,配置slaves文件,然后执行install_all.sh文件进行部署。 假设把安装包放在opt目录下,命令如下: # unzip -q /opt
大数据优化与提升服务通过结合华为自身丰富的理论知识和实践经验,引入数字化科技技术,帮助企业规划构建数据治理体系和数据治理平台,内容包括数据管理成熟度诊断、数据管理体系设计、数据安全规范诊断与设计以及主数据管理体系诊断与设计。 父主题: 关于服务咨询
部署包产品注册与集群文件配置 部署包产品注册 当在所有节点部署EDG包后,需要分别访问下列地址完成产品的注册。 http://192.168.1.101:9001/edg http://192.168.1.101:9002/edg http://192.168.1.102:9003
Linux环境单机版部署 如果部署过集群版,需先停止所有服务并卸载所有组件才能继续完成安装。 这里以安装包在opt目录为例。 # cd /opt/edi-RTPS-el7/bin # sh stop_all.sh # cd /opt # rm -rf edi-RTPS-el7
附录 常见问题 亿信官网提供帮助文档,汇聚快速入门和复杂场景应用分解说明,使产品更易用 ABI一站式数据分析平台:https://help.esensoft.com/doc-view-488.html 睿治数据治理平台:https://help.esensoft.com/doc-view
此标准由数据代表在入湖前完成梳理并在数据治理平台上进行资产注册。 数据标准 数据标准管理着重建立统一的数据语言,各级数据层级业务对象的定义是数据标准的载体,并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。
数据湖治理平台设计 数据治理中心DataArts Studio是面向解决企业数字化运营诉求,提供的具有数据全生命周期管理的智能数据治理平台,包含数据集成、数据开发、数据架构、数据质量监控、数据资产管理、数据服务、数据安全等功能。 产品架构如下图所示。
Hdfs、大数据相关驱动安装与Standalone模式local配置 配置驱动 hadoop依赖.zip。 影响数据源中hdfs数据源的连接。 压缩包内的jar包放入工作目录:lib\edi\hadoop目录下。 此目录会内自带edi-hadoop-deps-4.4.1-SNAPSHOT.jar
在DataArts Studio开发DLI SQL作业 操作场景 华为云数据治理中心DataArts Studio提供了一站式数据治理平台,可以实现与DLI服务的对接,从而提供统一的数据集成、数据开发服务,方便企业对全部数据进行管控。