检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ETL映射设计 ETL映射设计用于将数据从源系统抽取出来,经过清洗、转换、加载等一系列操作后,将数据加载到目标系统的过程。解决方案工作台支持SDI、DWI和DWR层物理表、支持多种数据库、支持生成脚本等。 新建ETL映射 图1 新建ETL映射 参数 说明 映射名称 自定义 数据库数据类型
资源,如图1所示。 如果是某个资源服务需要补充依赖信息,如图2中的服务器,可以在备注里补充说明该服务器的相关依赖。 此外,整个方案架构的技术栈信息,可以在图2的“技术栈信息”中补充,如该方案依赖的Redis、服务器中搭建的某个技术栈。 图1 添加配置备注 图2 资源开通信息 父主题:
据。 数据探源服务器 Linux操作系统服务器: 4vCPUs | 8GiB | Si2.xlarge.2 为了批量自动获取客户源端系统的数据结构,可使用解决方案工作台的探源工具进行数据探源,因此需要准备好可运行该探源工具的服务器。要求:Linux操作系统且该服务器与要探源的源端系统网络互通即可。
同时支持通过修改代码,重新编译打包。 将jar包放入远端服务器中,即环境准备中用来做调研的服务器中。例如,本最佳实践需要对两个MySQL数据库进行数据调研,则可将本探源工具放入准备好的某台linux服务器中,只需保证该服务器网络可访问到这两个MySQL数据库即可。 将5中下载的配置文件application
集成DataArts Studio,支持将方案设计中“ETL映射设计”部分形成的ETL脚本同步到DataArts Studio作业指定的目录。 前提: 已在本空间的方案设计中创建ETL Mapping脚本。参考ETL映射设计。 该账号下已开通DataArts Studio服务。 已在该DataArts
Hudi进行DWI层建模的目的是在ETL映射中需要使用,即,将SDI层的某个表映射至DWI层。 ETL映射 根据业务场景需要,可将数据从源端数据中进行移动和转换到指定的目标数据表中。如,本实践中需要将SDI层的门店表映射至DWI层的门店表。 图26 新建ETL映射 表2 ETL映射参数说明 参数 本实践填写参考
据。 数据探源服务器 Linux操作系统服务器: 4vCPUs | 8GiB | Si2.xlarge.2 为了批量自动获取客户源端系统的数据结构,可使用解决方案工作台的探源工具进行数据探源,因此需要准备好可运行该探源工具的服务器。要求:Linux操作系统且该服务器与要探源的源端系统网络互通即可。
性伸缩的云服务器。 登录云服务器 什么是ECS 创建容器应用基本流程 初始化数据盘 什么是ECS 创建容器应用基本流程 05 实践 弹性云服务器(Elastic Cloud Server)是一种可随时自动获取、计算能力可弹性伸缩的云服务器。 部署web环境 什么是ECS 创建容器应用基本流程
数据资产模型 数据资产模型是解决方案信息架构共享,包含方案的主题设计、逻辑模型设计、物理模型设计、ETL映射、业务指标设计等。如何发布数据资产模型参考归档发布资产。 查找数据资产模型 图1 查找数据资产模型 图2 数据资产模型详情 引用数据资产模型 支持将发布的数据资产模型引用到
过修改代码,重新编译打包。 将jar包放入远端服务器中,即用来做调研的服务器中。要求:该服务器为linux服务器中,且该服务器网络可访问到要探源的数据系统。 将下载的配置文件application.properties放入该远端服务器中。注意,需要和jar包在同一个目录下。 图11
跳板机配置参数说明 参数 说明 主机名称 自定义跳板机名称。 公网IP 填写该跳板机绑的公网IP。 登录端口 SSH授权登录的端口号。 请确保安全组已添加该端口,以便主机可通过该端口访问VSS。 选择登录方式 分为“密码登录”和“密钥登录”。 选择加密密钥 为了保护主机登录密码或密钥
跳板机配置参数说明 参数 说明 主机名称 自定义跳板机名称。 公网IP 填写给跳板机绑的公网IP 登录端口 SSH授权登录的端口号。 请确保安全组已添加该端口,以便主机可通过该端口访问VSS。 选择登录方式 分为“密码登录”和“密钥登录”。 选择加密密钥 为了保护主机登录密码或密钥
跳板机配置参数说明 参数 说明 主机名称 自定义跳板机名称。 公网IP 填写该跳板机绑的公网IP。 登录端口 SSH授权登录的端口号。 请确保安全组已添加该端口,以便主机可通过该端口访问VSS。 选择登录方式 分为“密码登录”和“密钥登录”。 选择加密密钥 为了保护主机登录密码或密钥
数据备份 √ √ CCE/CCI等容器部署+CBR(华为云备份-云服务器备份) 或弹性云服务器+CBR(华为云备份-云服务器备份)。 安全服务 主机安全 √ √ 华为云主机安全服务(HSS),企业版,一台云服务器(ECS)需对应一个HSS。 DDoS防护 √ √ 华为云Anti-DDoS流量清洗服务。
信息架构设计 创建信息架构 主题设计 逻辑模型设计 物理模型设计 ETL映射设计 业务指标设计 配置管理 父主题: 设计中心
数据备份 √ √ CCE/CCI等容器部署+CBR(华为云备份-云服务器备份) 或弹性云服务器+CBR(华为云备份-云服务器备份)。 安全服务 主机安全 √ √ 华为云主机安全服务(HSS),企业版,一台云服务器(ECS)需对应一个HSS。 DDoS防护 √ √ 华为云Anti-DDoS流量清洗服务。
”。 华为云的服务器不能使用默认的“弹性云服务器”或者“ECS”来命名,需要在命名中体现服务器的用途,比如服务器上部署了一个自建mysql数据库,则可以将服务器命名为“自建mysql数据库”;如使用到自建的redis,kafka,nginx等中间件,也需要在服务器的命名中体现出来。
”。 华为云的服务器不能使用默认的“弹性云服务器”或者“ECS”来命名,需要在命名中体现服务器的用途,比如服务器上部署了一个自建mysql数据库,则可以将服务器命名为“自建mysql数据库”;如使用到自建的redis,kafka,nginx等中间件,也需要在服务器的命名中体现出来。
设计、方案验证、交付项目、在维项目、知识库等。 数据模型资产:解决方案信息架构共享,包含方案的主题设计、逻辑模型设计、物理模型设计、ETL映射、业务指标设计等。 图1 解决方案加速场入口 父主题: 解决方案加速场
上传探索文件执行Web扫描入口 VSS主机扫描,需要修复“限制root用户SSH远程登录”漏洞,此时需要配置普通用户和sudo提权用户来扫描,对于配置后扫描结果失败的情况,如何处理? 点击查看配置普通用户和sudo提权用户漏洞扫描失败案例。 使用华为云的服务器,也需要做主机扫描吗? 需要分以下两种情况 如果您