检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取,具体使用方法在样例代码中会有详细说明。 目前样例代码统一调用LoginUtil类进行安全认证,支持Oracle JAVA平台和IBM JAVA平台。 代码示例中请根据实际情况,修改“USERNAME”为实际用户名,例如“developuser”。 private static
获取,具体使用方法在样例代码中会有详细说明。 目前样例代码统一调用LoginUtil类进行安全认证,支持Oracle JAVA平台和IBM JAVA平台。 代码示例中请根据实际情况,修改“USERNAME”为实际用户名,例如“developuser”。 private static
大数据引擎,支持数据湖、数据仓库、BI、AI融合等能力,完全兼容开源,快速帮助客户上云构建低成本、灵活开放、安全可靠、全栈式的云原生大数据平台,满足客户业务快速增长和敏捷创新诉求。 父主题: 产品咨询类
认证文件,详细操作请参见准备连接Hive集群配置文件。 配置安全登录 安全认证主要采用代码认证方式,支持Oracle JAVA平台和IBM JAVA平台。 以下代码在“hive-examples/hive-jdbc-example”样例工程的“com.huawei.bigdata
增量加工。 数据入库 建议使用CDL(增量实时同步)和Loader(批量同步)工具进行数据同步,也可选择HDFS外表(CK集群只支持X86平台)用户自己写调度程序进行数据导入。 父主题: ClickHouse数据库开发
conf文件。具体使用方法在样例代码的“README.md”中会有详细说明。 安全认证主要采用代码认证方式。支持Oracle JAVA平台和IBM JAVA平台。 以下代码在“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。 代码认证 try
Join-To-Live Flink双流Join需要将数据存储在状态后端,目前普遍使用Rocksdb作为状态后端。在TTL过大或无法确定TTL或数据流量增加的场景下,大流量会导致状态数据增加,增加存储压力,从而导致作业稳定性下降,或TTL过期可能出现数据关联不准确。 对于数据关联
keytab和krb5.conf文件获取方法请参考准备MRS应用开发用户。 安全认证主要采用代码认证方式。支持Oracle JAVA平台和IBM JAVA平台。 以下代码在“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。 代码认证 try
内存中,进行快速的内存计算,CQL的输出结果为数据流在某一时刻的计算结果。使用CQL,可以快速进行业务开发,并方便地将业务提交到Storm平台开启实时数据的接收、处理及结果输出;并可以在合适的时候中止业务。 高可用性 Nimbus HA机制,避免了开源Storm集群中Nimbus
表2 开发者社区精选最佳实践 分类 相关文档 热门组件介绍 MRS StarRocks,新一代极速全场景数据仓库 Hudi:新一代流式数据湖平台 高性能利器-MRS ClickHouse重磅推出 基于MRS-ClickHouse构建用户画像系统方案介绍 基于MRS-Hudi构建数据湖的典型应用场景介绍
Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 从checkpoint恢复spark应用的限制 第三方jar包跨平台(x86、TaiShan)支持 在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 ARM环境python
Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 从checkpoint恢复spark应用的限制 第三方jar包跨平台(x86、TaiShan)支持 在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 ARM环境python
Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 从checkpoint恢复spark应用的限制 第三方jar包跨平台(x86、TaiShan)支持 在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 ARM环境python
Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 从checkpoint恢复spark应用的限制 第三方jar包跨平台(x86、TaiShan)支持 在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 ARM环境python
需要更新客户端配置文件的场景。 完整客户端 选择平台类型 客户端类型必须与待安装客户端的节点架构匹配,否则客户端会安装失败。 LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64:可以部署在X86平台的客户端软件包。 aarch64:可以部署在鲲鹏服务器的客户端软件包。
Manager,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
可以创建子租户。 多租户平台: 租户是MRS大数据平台的核心概念,使传统的以用户为核心的大数据平台向以多租户为核心的大数据平台转变,更好的适应现代企业多租户应用环境,如图2所示。 图2 以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台,用户直接访问并使用全部的资源和服务。
ARCHIVELOG 本章节仅适用于MRS 3.2.0及之后版本。 命令功能 用于根据配置对Timeline上的Instant进行归档,并从Timeline上将已归档的Instant删除,以减少Timeline的操作压力。 命令格式 RUN ARCHIVELOG ON tableIdentifier;
参与;同时支持用户在集群中运行自定义内容;支持快速创建多应用场景集群,比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群,在集群中存在不同规格的虚机,允许CPU类型,硬盘容量,硬盘类型,内存大小灵活组合。在集群中支持多种虚机规格混合使用。
员需要更新客户端配置文件的场景。 完整客户端 选择平台类型 客户端类型必须与待安装客户端的节点架构匹配,否则客户端会安装失败。LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64:可以部署在X86平台的客户端软件包。 aarch64:可以部署在TaiShan服务器的客户端软件包。