检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2-LTS、MRS 3.1.5以及MRS 3.2.0-LTS。 扩容后,集群内节点已安装的客户端无需更新,集群外节点安装的客户端请参考服务端配置过期后更新MRS集群客户端进行更新。 扩容后,如需对HDFS数据进行均衡操作,请参考配置DataNode容量均衡。如需对Kafka数据进
更新数据连接 功能介绍 更新数据连接 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/data-connectors/{connector_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。
TOTAL:全量导入,数据版本默认为0,新写入数据版本为1,新数据入库时更新相同主键的数据,插入不同主键的数据并删除版本为0的所有原有数据。下一次新写入数据版本为0,依次交替更新数据版本。 INCREMENT:增量导入,更新相同主键的数据,插入不同主键的数据,保留原有数据。 INSERT
更新MRS客户端 集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。 更新客户端配置 方法一: 访问集群Manager,在“集群”下拉列表中单击需要操作的集群名称。
使用Ranger时适配第三方JDK 配置场景 当使用Ranger作为spark sql的权限管理服务时,访问RangerAdmin需要使用集群中的证书。若用户未使用集群中的JDK或者JRE,而是使用第三方JDK时,会出现访问RangerAdmin失败,进而spark应用程序启动失败的问题。
仅配置文件:仅下载客户端配置文件,适用于应用开发任务中,完整客户端已下载并安装后,管理员通过Manager界面修改了组件服务端配置,开发人员需要更新客户端配置文件的场景。 完整客户端 选择平台类型 客户端类型必须与待安装客户端的节点架构匹配,否则客户端会安装失败。 LTS版本集群仅支持
使用Ranger时适配第三方JDK 配置场景 当使用Ranger作为spark sql的权限管理服务时,访问RangerAdmin需要使用集群中的证书。如果用户未使用集群中的JDK或者JRE,而是使用第三方JDK时,会出现访问RangerAdmin失败,进而spark应用程序启动失败的问题。
MRS节点访问OBS报错408如何处理? 问: MRS节点访问OBS报错408,怎么办? 答: MRS节点访问OBS报错408时,用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题: 作业管理类
void startCheckKeytabTgtAndReloginJob() { //10分钟循环,达到距离到期时间一定范围就会更新凭证 ThreadPool.updateConfigThread.scheduleWithFixedDelay(() ->
使用kafka采集数据时报错IllegalArgumentException 问题 线程“main”报错 org.apache.kafka.common.KafkaException,构造kafka消费者失败,报错: java.lang.IllegalArgumentException:
使用kafka采集数据时报错IllegalArgumentException 问题 线程“main”报错 org.apache.kafka.common.KafkaException,构造kafka消费者失败,报错: java.lang.IllegalArgumentException:
update-multi-service-client.sh 服务1 服务2 …… 例如: 更新Hive-1 Spark-1服务客户端时部分节点更新失败,其中最小IP节点更新失败。修复如下: 在最小IP节点执行更新服务客户端脚本: cd /opt/Bigdata/FusionInsight_JobGateway_8
更新MRS集群加密密钥 在安装集群时,系统将自动生成加密密钥key值以对集群的部分安全信息(例如所有数据库用户密码、密钥文件访问密码等)进行加密存储。在集群安装成功后,如果原始密钥不慎意外泄露或者需要使用新的密钥,系统管理员可以通过以下操作手动更改密钥值。 对系统的影响 更新集群
更新弹性伸缩策略 功能介绍 更新弹性伸缩策略。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
Kafka Topic监控页签在Manager页面不显示如何处理? 问: Kafka Topic监控页签在Manager页面不显示怎么办? 答: 分别登录集群Master节点,并切换用户为omm。 进入目录“/opt/Bigdata/apache-tomcat-7.0.78/we
x509 -noout -text -in server.crt查看HA用户证书的生效时间与失效时间。 根据需要,选择业务空闲期,执行6~7更新HA证书。 执行命令cd ${BIGDATA_HOME}/FusionInsight_Flink_*/install/FusionInsi
2020/01/02|rider-1577787297889|driver-1577787297889| 98.88075495133515| // ... } 更新数据: def updateData(spark: SparkSession, tablePath: String, tableName:
2020/01/02|rider-1577787297889|driver-1577787297889| 98.88075495133515| // ... } 更新数据: def updateData(spark: SparkSession, tablePath: String, tableName:
2020/01/02|rider-1577787297889|driver-1577787297889| 98.88075495133515| // ... } 更新数据: def updateData(spark: SparkSession, tablePath: String, tableName: