检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ab文件登录,两种方式操作步骤基本一致。票据登录方式为开源提供的能力,存在票据过期问题,后期需要人工上传票据,并且可靠性和易用性较差,因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HBase组件已经安装,并正常运行。 将storm-examples导入到IntelliJ
时需要准备运行调测的Linux环境,用于验证应用程序运行是否正常。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Linux系统。 安装JDK 开发和运行环境的基本配置。版本要求如下: MRS集群的服务端和客户端仅支持自带的Oracle
ab文件登录,两种方式操作步骤基本一致。票据登录方式为开源提供的能力,存在票据过期问题,后期需要人工上传票据,并且可靠性和易用性较差,因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HBase组件已经安装,并正常运行。 将storm-examples导入到Ecl
Flink流式写Hudi表建议 使用SparkSQL统一建表。 推荐使用Spark异步任务对Hudi表进行Compaction。 表名必须以字母或下划线开头,不能以数字开头。 表名只能包含字母、数字、下划线。 表名长度不能超过128个字符。 表名中不能包含空格和特殊字符,如冒号、分号、斜杠等。
准备开发环境 在进行应用开发时,需要准备的本地开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK
Computation):支持迭代计算,有效应对多步的数据处理逻辑。 数据挖掘(Data Mining):在海量数据基础上进行复杂的挖掘分析,可支持各种数据挖掘和机器学习算法。 流式处理(Streaming Processing):支持秒级延迟的流式处理,可支持多种外部数据源。 查询分析(Query Ana
对时序数据特征,进行强有力的数据编码和压缩能力,同时其自身的副本机制也保证了数据的安全,并与Apache Hadoop和Flink等进行了深度集成,可以满足工业物联网领域的海量数据存储、高速数据读取和复杂数据分析需求。 IoTDB结构 IoTDB套件由若干个组件构成,共同形成数据
该参数仅在设置“版本”为V3时可用,用于设置认证协议,推荐选择SHA。 认证密码 - 该参数仅在设置“版本”为V3时可用,用于设置认证密钥。 确认认证密码 - 该参数仅在设置“版本”为V3时可用,用于确认认证密钥。 加密协议 AES256 该参数仅在设置“版本”为V3时可用,用于设置加密协议,推荐选择AES256。
安全模式下登录方式分为两种,票据登录和keytab文件登录,两种方式操作步骤基本一致,票据登录方式为开源提供的能力,后期需要人工上传票据,存在可靠性和易用性问题,因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HDFS组件已经安装,并正常运行。 将storm-examples导入到Ecli
安全模式下登录方式分为两种,票据登录和keytab文件登录,两种方式操作步骤基本一致,票据登录方式为开源提供的能力,后期需要人工上传票据,存在可靠性和易用性问题,因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HDFS组件已经安装,并正常运行。 将storm-examples导入到IntelliJ
Hudi表初始化 初始化导入存量数据通常由Spark作业来完成,由于初始化数据量通常较大,因此推荐使用API方式给充足资源来完成。 对于批量初始化后需要接Flink或Spark流作业实时写入的场景,一般建议通过对上有消息进行过滤,从一个指定的时间范围开始消费来控制数据的重复接入量
如果您是首次使用MRS的用户,建议您学习并了解如下信息: 基础知识了解 通过MRS组件介绍和产品功能章节的内容,了解MRS相关的基础知识,包含MRS各组件的基本原理和增强特性介绍,以及MRS服务的特有概念和功能的详细介绍。 入门使用 您可以参考《快速入门》学习并上手使用MRS。《快速入门
应用服务端收到请求后,使用本端应用服务对应的密钥解析其中的ST,并校验成功后,本次请求合法通过。 基本概念 以下为常见的基本概念,可以帮助用户减少学习Kerberos框架所花费的时间,有助于更好的理解Kerberos业务。以HDFS安全认证为例: TGT 票据授权票据(Ticket-Granting
对于客户应用需引用SDK类的Jar包运行在客户应用进程中的,支持Oracle JDK和IBM JDK。 Oracle JDK:支持1.7和1.8版本。 IBM JDK:推荐1.7.8.10、1.7.9.40和1.8.3.0版本。 说明: 如果开发环境使用的是JDK1.7版本,则Flink集群的运行环境可以是JDK1
IGH_MEM Cache缓存大小 推荐8MB-1GB state.backend.rocksdb.block.blocksize 4KB 128KB:开启SPINNING_DISK_OPTIMIZED_HIGH_MEM Block大小 推荐4KB-256KB state.backend
并校验成功后,本次请求合法通过。 安全认证基本概念 本文以HDFS组件应用的安全认证为例介绍安全认证相关的常见基本概念,可以帮助用户减少学习Kerberos框架所花费的时间,有助于更好的理解Kerberos业务。 TGT 票据授权票据(Ticket-Granting Ticke
2020年9月 序号 功能名称 功能描述 阶段 相关文档 1 新增V2创建集群接口 V2接口功能更强大、操作更便捷,在接口功能相同的情况下,推荐您优先使用V2接口。 商用 创建集群 2 支持多种异构虚拟机规格 MRS集群支持x86/ARM混合部署,支持弹性云服务器(ECS)和裸金属服务器(BMS)混合部署
般是在Linux环境下进行。 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7以上版本。 安装JDK 开发环境的基本配置。版本要求:1.7或者1.8。 说明: 基于安全考虑,服务端只支持TLS 1.1和TLS
研、成熟稳定的特性和功能,带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。 MRS 3.2.0-LTS.1 组件选择 选择要MRS集群内要部署的组件。
操作场景 Java开发环境可以搭建在Windows环境下,而运行环境(即客户端)只能部署在Linux环境下。 操作步骤 对于Java开发环境,推荐使用IDEA工具,安装要求如下。 JDK使用1.7版本(或1.8版本) IntelliJ IDEA(版本:13.1.6) Spark不支持当客户端程序使用IBM