检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS,再使用数据湖探索(Data Lake Insight,简称DLI)进行贸易统计分析,帮助H咨询公司以极简、极低成本构建其大数据分析平台,使得该公司更好地聚焦业务,持续创新。 场景描述 H公司是国内一家收集主要贸易国贸易统计及买家数据的商业机构,拥有大量的贸易统计数据库,其
车联网大数搬迁入湖简介场景介绍 场景描述 为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM(Cloud Data Migration,简称CDM)助力H公司做到代码“0”改动、数据“0”丢失迁移上云。 约束限制
迁移原理 CDM迁移原理 用户使用CDM服务时,CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问权限,用户无法通过其他接口(如SSH)访问实例。这种方式保证了CDM用户间的隔离,避免数据泄漏,同时保证VPC内不同云服务间数据迁移时的传输
HIVE_3_X linkConfig.user 否 String 登录Manager平台的用户名,使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码,使用集群配置时不用配置 linkConfig.uri 否 String 连接Apache
资源对海量数据进行处理后,将结果数据回流到本地业务系统,主要是各种关系型数据库和文件系统。 CDM迁移原理 用户使用CDM服务时,CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问权限,用户无法通过其他接口(如SSH)访问实例。这种方式保
DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统,与管理IP相关。 https://管理IP:8088/deviceManager/devicemanager/login/login.html 用户名 登录存储管理系统的用户名。 admin 密码 登录密码。
资产识别与管理 云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签(对于CDM而言,标签作用于其集群上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个
String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。 linkConfig.port 否 String 连接FusionInsight HD时,需要配置Manager平台的端口。 linkConfig.casPort 否 String 连接FusionInsight
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON
选择“集群 > > 待操作的集群名称 > 概览 > 更多 > 下载客户端”,界面显示“下载集群客户端”对话框。 对话框中选择“仅配置文件”,平台类型和服务端保持一致,其他保持默认即可,单击确认后进行本地下载。 获取下载的tar包,此即为FusionInsight集群配置文件。 针对MRS
String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。 linkConfig.port 否 String 连接FusionInsight HD时,需要配置Manager平台的端口。 linkConfig.casPort 否 String 连接FusionInsight
Insight,简称DLI)进行贸易统计分析,帮助H咨询公司以极简、极低成本构建其大数据分析平台,使得该公司更好地聚焦业务,持续创新。 案例:车联网大数据业务上云 为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM(Cloud
华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责
本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上,需要确保MySQL可以通过公网IP访问,或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已创建CDM集群。 新建MySQL连接器 进入CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理
DDS连接参数说明 DDS连接适用于华为云上的文档数据库服务,常用于从DDS同步数据到大数据平台。 连接云服务DDS时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 DDS连接参数 参数名
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
MongoDB连接适用于第三方云MongoDB服务,以及用户在本地数据中心或ECS上自建的MongoDB,常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
ILE”,且源端、目的端都为对象存储时,才有该参数。 选择“是”后,迁移对象文件时会复制源文件的Content-Type属性,主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性,所以如果开启了该参数,目的端选择写入的桶时,必须选择非归档存储的桶。 toJobConfig
FI_hdfs_link Manager IP FusionInsight Manager平台的地址。 127.0.0.1 Manager端口 FusionInsight Manager平台的端口。 28443 CAS Server端口 与FusionInsight对接的CAS Server的端口。
FI_hbase_link Manager IP FusionInsight Manager平台的地址。 127.0.0.1 Manager端口 FusionInsight Manager平台的端口。 28443 CAS Server端口 与FusionInsight对接的CAS Server的端口。