检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI”后的链接,进入HSConsole界面。 在“计算实例”页签,在待操作的实例所属租户所在行的“操作”列单击“配置”,进入“配置实例”页签。 查看“高级配置”的“是否开启维护实例”是否处于“是”,否则修改为“是”。 修改完成后,将“立即启动”置为“是”,单击“确定”。 父主题: 管理HetuEngine计算实例
impala-examples-mrs-2.1-jar-with-dependencies.jar ,复制到“/opt/impala_examples”下。 开启Kerberos认证的安全集群下把从准备MRS应用开发用户获取的“user.keytab”和“krb5.conf”复制到“/opt/imp
impala-examples-mrs-2.1-jar-with-dependencies.jar ,拷贝到“/opt/impala_examples”下 开启Kerberos认证的安全集群下把从4获取的user.keytab和krb5.conf拷贝到/opt/impala_examples/conf下。普通集群可跳过该步骤。
作请参考修改集群服务配置参数章节。 表1 参数描述 参数 描述 默认值 mapreduce.cluster.acls.enabled 是否开启对Job History Server权限控制的开关。 true mapreduce.cluster.administrators 用于指
设置handler的参数。 enableSSL false http协议是否启用SSL。 keystore - http启用SSL后设置keystore的路径。 keystorePassword - http启用SSL后设置keystore的密码。 常用Channel配置 Memory
CLI介绍 Flink应用性能调优建议 Savepoints相关问题解决方案 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 如何处理blob.storage.directory配置/home目录时,启动yarn-session失败的问题?
resourcemanager.webapp.pagination.enable 是否开启Yarn WebUI的任务列表后台分页功能。 true yarn.resourcemanager.webapp.pagination.threshold 开启Yarn WebUI的任务列表后台分页功能后,每个分页显示的最大作业数量。
et”和“ecs:serverKeypairs:list”。 创集群时使用数据盘加密,需增加权限“kms:cmk:list”。 创建集群时开启告警功能,需增加权限“mrs:alarm:subscribe”。 创建集群时使用外置数据源,需增加权限“rds:instance:list”。
p2,ip3,应用二配置loadBalancerIPList=ip3,ip1,ip2。 根据连接方式选择端口 普通集群默认开启8123端口,安全集群默认开启8443端口。 端口号查看方式:在集群的Manager界面选择“集群 > 服务 > ClickHouse > 配置”。 用于通过HTTP连接到ClickHouse
Connector的功能开关,只有当Flink的SSL总开关被打开以及配置“nettyconnector.ssl.enabled”为“true”的时候才开启SSL加密,否则不开启。 NettySource NettySource由以下几个重要模块组成: RichParallelSourceFunction
服务配置”,进入“Kafka服务配置”页面。 查看参数“disk.adapter.enable”是否配置为“true”。 是,执行11。 否,配置为“true”,开启该功能,执行10。 查看参数“adapter.topic.min.retention.hours”所配置的数据最短保存周期是否合理。 是,执行12。
源后,才被继续启动。 该特性使得业务能够更加灵活地控制自己的计算任务,从而达到更佳的集群资源利用率。 容器可重用与任务优先级调度有冲突,若启用容器重用,资源会被持续占用,优先级调度将不起作用。 YARN的权限控制 Hadoop YARN的权限机制是通过访问控制列表(ACL)实现的
集群内ClickHouseServer节点间数据迁移 ClickHouse数据迁移工具可以将某几个ClickHouseServer实例节点上的一个或多个MergeTree引擎分区表的部分分区迁移至其他ClickHouseServer节点上相同的表中。在扩容场景中,可以使用该工具将
Kafka等)是否启用Ranger鉴权,使该用户应具有如下权限: 如果启用Ranger鉴权,当前用户必须属于hadoop组或者已在Ranger中为该用户添加“/flink”的读写权限。 如果停用Ranger鉴权,当前用户必须属于hadoop组。 普通集群(未开启Kerberos认证)可通过如下两种方式提交作业:
集群内ClickHouseServer节点间数据迁移 ClickHouse数据迁移工具可以将某几个ClickHouseServer实例节点上的一个或多个MergeTree引擎分区表的部分分区迁移至其他ClickHouseServer节点上相同的表中。在扩容场景中,可以使用该工具将
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行
修改Kafka Topic配置 操作场景 用户可以根据业务需要,使用集群客户端创建Kafka Topic。启用Kerberos认证的集群,需要拥有管理Kafka主题的权限。也可以通过KafkaUI修改Topic Configs。 安全模式下,KafkaUI对修改Topic Con
修改Kafka Topic配置 操作场景 用户可以根据业务需要,使用集群客户端创建Kafka Topic。启用Kerberos认证的集群,需要拥有管理Kafka主题的权限。也可以通过KafkaUI修改Topic Configs。 安全模式下,KafkaUI对修改Topic Con
作请参考修改集群服务配置参数章节。 表1 参数描述 参数 描述 默认值 mapreduce.cluster.acls.enabled 是否开启对Job History Server权限控制的开关。 true mapreduce.cluster.administrators 用于指
然后可以通过下列三种方式确认原因为HDFS性能慢造成告警产生。 使用客户端验证,通过hbase shell进入hbase命令行后,执行list验证需要运行多久。 开启HDFS的debug日志,然后查看下层目录很多的路径(hadoop fs -ls /XXX/XXX),验证需要运行多久。 打印HMaster进程jstack: