检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
obs://mrs-samples/xxx.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx.sh 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以.sh结尾。 说明: 同
> Storm”,选择“配置”选项卡,在搜索框中搜索并调大nimbus.task.timeout.secs和supervisor.worker.start.timeout.secs的值,建议调整为最大值。然后在WORKER_GC_OPTS的现有值后追加-Xdebug -Xrunj
<tablename>:表示要操作的表名。 <inputdir>:表示要批量导入的数据目录。 -Dindexspecs.to.add=<indexspecs>:表示索引名与列的映射,例如-Dindexspecs.to.add='index_bulk=>info:[age->String]'。 其构成如下所示:
时间是流处理应用的重要组成部分,对于实时流处理应用来说,基于时间语义的窗口聚合、检测、匹配等运算是很常见的。Flink提供了丰富的时间语义。 Event-time:使用事件本身自带的时间戳进行计算,使乱序到达或延迟到达的事件处理变得更加简单。 Watermark:Flink引入Watermark概念,用以衡量事件时间
这是占用虚拟机开销的内存,类似于内部字符串,其他内置开销等等。会随着执行器大小(通常为6-10%)而增长。 1GB spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。 false 不建议修改的参数 以下参数在安装集群时已进行了适配,不建议用户进行修改。
这是占用虚拟机开销的内存,类似于内部字符串,其他内置开销等等。会随着执行器大小(通常为6-10%)而增长。 1GB spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。 false 不建议修改的参数 以下参数在安装集群时已进行了适配,不建议用户进行修改。
> Storm”,选择“配置”选项卡,在搜索框中搜索并调大nimbus.task.timeout.secs和supervisor.worker.start.timeout.secs的值,建议调整为最大值。然后在WORKER_GC_OPTS的现有值后追加-Xdebug -Xrunj
").as(Encoders.bean(Person.class));//Java 还可通过已存在的DataSet上可用的transformation操作来创建数据集。 例如,在已存在的DataSet上应用map操作来创建新的DataSet: val names = people
效机制,且是无状态的,并不影响正在该节点上运行的Worker,但是会无法接收新的Worker分配。当Supervisor失效时,OMS会侦测到,并及时重启该进程。 Worker失效 该Worker所在节点上的Supervisor会在此节点上重新启动该Worker。如果多次重启失败
连接时应答的超时时间(单位:秒)。为了避免由于GC带来的长时间等待,可以设置更大的值。 60 加密 Spark支持Akka和HTTP(广播和文件服务器)协议的SSL,但WebUI和块转移服务仍不支持SSL。 SSL必须在每个节点上配置,并使用特殊协议为通信涉及到的每个组件进行配置。 表24
HIndex常用命令 功能 命令 增加索引 TableIndexer-Dtablename.to.index=table1-Dindexspecs.to.add='IDX1=>cf1:[q1->datatype],[q2],[q3];cf2:[q1->datatype],[q2->d
HIndex常用命令 功能 命令 增加索引 TableIndexer-Dtablename.to.index=table1-Dindexspecs.to.add='IDX1=>cf1:[q1->datatype],[q2],[q3];cf2:[q1->datatype],[q2->d
用户需要使用图形化界面在集群中执行HetuEngine语句时,可以通过Hue完成任务。 本章节适用于MRS 3.3.0及之后版本。 前提条件 需要MRS集群已安装HetuEngine组件并添加HSFabric实例。HSFabric实例的新增,删除,迁移和端口的修改,都需要重启Hue服务。 已在集群
连接时应答的超时时间(单位:秒)。为了避免由于GC带来的长时间等待,可以设置更大的值。 60 加密 Spark支持Akka和HTTP(广播和文件服务器)协议的SSL,但WebUI和块转移服务仍不支持SSL。 SSL必须在每个节点上配置,并使用特殊协议为通信涉及到的每个组件进行配置。 表24
http.server.session.timeout.secs Spark:修改配置spark.session.maxAge的值 Hive:添加自定义配置项http.server.session.timeout.secs 保存配置项时可选择不重启受影响的服务或实例,等待业务不繁忙时再重启服务或实例。
MRS集群创建完成后,无法通过管理控制台访问集群Manager管理页面。 排查思路 检查集群状态:Manager页面无法正常访问,请首先确认MRS集群状态是否正常,如果集群已关闭或者正在创建中,或集群正在发生主备倒换,将无法访问Manager。 检查用户权限:当前用户是否有访问Manager的权限,“ReadOn
未配置该参数,系统会根据配置的用户,随机选择该用户所属的租户。 配置该参数,系统则会指定租户。适用于包括开启了租户的严格校验模式等场景。 - 单击“删除”可以删除已增加的自定义配置参数。 单击“确定”。 登录集群客户端所在节点,执行以下命令,切换到客户端安装目录并认证用户。 cd /opt/client
Manager界面,选择“集群 > 待操作集群的名称 > 服务 > Loader”。 选择“更多 > 重启服务”,单击“确定”。 查看该告警是否已清除。 是,处理完毕。 否,执行32。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
ader作业分组权限。创建Loader作业的业务用户,关联该角色和并添加用户组yarnviewgroup。 ClickHouse表已创建,确保用户已授权访问作业执行时操作该表的权限,参照ClickHouse客户端使用实践创建本地复制表和分布式表,导出时选择本地复制表。 确保没有出现ClickHouse相关告警。
储目录与当前租户在“资源”中添加的目录一致。 HDFS租户文件对象信息 已使用的文件对象个数 Yarn Yarn当前已分配的CPU核数 AM分配的最大CPU核数 已分配的CPU核数 AM已使用的CPU核数 当前租户的监控信息。如某租户未配置相应子项,则不显示。 监控数据取自Yarn原生WebUI中“Scheduler