检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark
conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark
Loader基本原理 Loader是在开源Sqoop组件的基础上进行了一些扩展,实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”,同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中,或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。
配置MRS集群安全通信授权 MRS集群通过管理控制台为用户发放、管理和使用大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 若不
MRS基于华为云弹性云服务器ECS构建的大数据集群,充分利用了其虚拟化层的高可靠、高安全的能力。 虚拟私有云(VPC)为每个租户提供的虚拟内部网络,默认与其他网络隔离。 云硬盘(EVS)提供高可靠、高性能的存储。 弹性云服务器(ECS)提供的弹性可扩展虚拟机,结合VPC、安全组、EVS数据
org/confluence/display/Hive/HiveServer2+Clients。 指定租户 一般情况下,某用户提交的客户端会连接到该用户默认所属租户的JDBCServer上,若需要连接客户端到指定租户的JDBCServer上,可以通过添加--hiveconf mapreduce
conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark
conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark
conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark
hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接收数据。接受的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java.lang.String> textFileStream(java.lang
TaiShan客户端:OpenJDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS
原因:确保缩容后剩余空间足够存放现有数据,并预留一部分空间。 说明: 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。 HBase/RegionServer 规则:除缩容节点外,其他节点RegionServer剩余可用内存的总和,大于所选缩容节
hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接受数据。接受的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java.lang.String> textFileStream(java.lang
titions,此过程需要一定的处理时间,新来的consumer抢占该partitions时很有可能会失败。 表1 参数说明 名称 作用 默认值 rebalance.max.retries Rebalance最大重试次数 4 rebalance.backoff.ms Rebalance每次重试间隔
sinkserver.subnet: 10.162.222.123/24 nettyconnector.sinkserver.subnet默认配置为Flink客户端所在节点子网,若客户端与TaskManager不在同一个子网则有可能导致错误,需手动配置为TaskManager所在网络子网(业务IP)。
hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接受数据。接受的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java.lang.String> textFileStream(java.lang
TaiShan客户端:OpenJDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS
conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark
hostname,int port) 创建一个输入流,通过TCP socket从对应的hostname和端口接收数据。接收的字节被解析为UTF8格式。默认的存储级别为Memory+Disk。 JavaDStream<java.lang.String> textFileStream(java.lang
安装MRS集群滚动补丁 滚动补丁是指在补丁安装/卸载时,采用滚动重启服务(按批次重启服务或实例)的方式,在不中断或尽可能短地中断集群各个服务业务的前提下完成对集群中单个或多个服务的补丁安装/卸载操作。集群中的服务根据对滚动补丁的支持程度,分为三种: 支持滚动安装/卸载补丁的服务: