检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
block.size parquet页面大小,页面是parquet文件中的读取单位,在一个块内,页面被分别压缩。 120 * 1024 * 1024 byte hoodie.parquet.compression.ratio 当Hudi尝试调整新parquet文件的大小时,预期对parquet数据进行压缩的比例。
告警 > OBS数据读操作接口调用成功率低于阈值”,查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta(对应上报告警实例IP地址)”。单击图表区域右上角的下拉菜单,选择“定制”,在“OBS数据读操作”中
StreamingExampleProducer Broker实例IP地址:Kafka连接端口 topic名称 Kafka Broker实例IP地址可登录集群的FusionInsight Manager界面,在“集群 > 服务 > Kafka > 实例”界面中查询,多个地址可用“,”分隔。Brok
建议合理设置用户的队列权限,最好一个用户只绑定一个队列。 如果客户必须绑定多个队列时,可通过配置全局用户策略指定某用户的默认提交队列。 以MRS 3.x版本集群为例,登录集群Manager界面,单击“租户资源”。 单击“动态资源计划 > 全局用户策略 > 添加全局用户策略”。 “
脚本运行过程中会重启controller服务,同步Yarn的配置,并重启主备ResourceManager实例。 重启controller服务时,无法登录和操作FusionInsight Manager。 重启主备ResourceManager实例后,Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 前提条件
MRS对接LakeFormation云服务 LakeFormation服务概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 通过Ranger为MRS集群内用户绑定LakeFormation角色 父主题: 周边云服务对接
Manager与本集群HDFS保存的快照信息,创建本地快速恢复任务并执行恢复任务。 该章节仅适用于MRS 3.x及之后版本。 恢复组件业务数据 登录FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 在备份任务列表已创建任务的“操作”列,单击“恢复”。
默认情况下,OMS备份的文件最大保留个数为90,该任务指导系统管理员配置此最大保留个数。 本章节操作仅支持MRS 3.x及之后的版本。 以omm用户登录主管理节点。 用户只需在主管理节点执行此操作,不支持在备管理节点上修改审计日志备份文件数,否则可能造成集群无法正常工作。 执行以下命令,切换目录。
单击“确定”完成,返回角色管理。 (可选)创建具有FlinkServer相关权限的用户。 FlinkServer角色创建成功后,可创建一个FlinkServer用户,并绑定设置的FlinkServer角色和用户组。 父主题: Flink用户权限管理
成,且总长度不超过200个字符。 例如“/default/rack0”。 如果待修改机架中所包含的主机中有DataNode实例,请确保所有DataNode实例所在主机的机架名称的层级一致。否则,会导致配置下发失败。 单击“确定”,完成机架分配设置。 父主题: 管理MRS集群节点
开发ClickHouse应用 ClickHouse应用程序开发思路 配置ClickHouse连接属性 建立ClickHouse连接 创建ClickHouse库 创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题:
22 指定审计日志转储后存放的SFTP服务器连接端口。 保存路径 /opt/omm/oms/auditLog 指定SFTP服务器上保存审计日志的路径。 SFTP用户名 root 指定登录SFTP服务器的用户名。 SFTP密码 - 指定登录SFTP服务器的密码。 SFTP公共密钥 -
前的配置保持一致,在 FusionInsight Manager界面选择“集群 > 服务 > Flume > 实例”,选择相应的Flume角色实例,单击“实例配置 ”页面“flume.config.file”参数后的“下载文件”,可获取已有的服务端参数配置文件。然后选择“集群 >
网络连接超时导致FetchFailedException 问题 在380节点的大集群上,运行29T数据量的HiBench测试套中ScalaSort测试用例,使用以下关键配置(--executor-cores 4)出现如下异常: org.apache.spark.shuffle.F
开发ClickHouse应用 ClickHouse应用程序开发思路 配置ClickHouse连接属性 建立ClickHouse连接 创建ClickHouse数据库 创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题:
Alluixo在HA模式下出现Does not contain a valid host:port authority报错 用户问题 安全集群Alluixo在HA模式下出现Does not contain a valid host:port authority的报错,如何处理? 问题现象
SSH,Java以及Oozie子流程。 Oozie开源增强特性 安全增强: 支持Oozie权限管理,提供管理员与普通用户两种角色。 支持单点登录登出,HTTPS访问以及审计日志。 父主题: 组件介绍
Processor<String, String>() { // ProcessorContext实例,它提供对当前正在处理的记录的元数据的访问 private ProcessorContext context; private
Manager界面,选择“运维 > 告警 > 告警”。 查看该“定位信息”中对应的“主机名”字段值,获取该告警产生的主机名。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行/bin/rpm -qa | grep -w "haveged"命令查看haveged安装情况,观察命令返回结果是否为空。
/tmp目录权限不对导致DBserver实例状态一直处于Restoring 问题背景与现象 DBServer实例状态一直是Restoring状态,重启之后仍然不恢复。 原因分析 查看“/var/log/Bigdata/dbservice/healthCheck/dbservice_processCheck