检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进入弹性伸缩配置界面后,配置资源计划。 资源计划可调控节点数量,也会对实际价格有影响,请谨慎操作。 节点数量范围的“默认范围”设置为“2-2”,表示除资源计划规定时间范围外,其他时间Task节点数量固定为2个。 单击默认范围下方的“配置指定时间段的节点数量范围”或者“添加资源计划”。
rule-test 前缀 满足指定前缀的对象将受生命周期规则管理,输入的对象前缀不能包括\:*?"<>|特殊字符,不能以/开头,不能两个/相邻。如果不输入则表示配置到整个文件系统。 说明: 为防止其他业务数据被误删除,不建议使用配置到整个文件系统或者层级较高的目录的生命周期规则。 生命周期规则适用
【示例】 # netty的服务端线程数目(-1表示默认参数numOfSlot) taskmanager.network.netty.server.numThreads -1(numOfSlot) # netty的客户端线程数目(-1表示默认参数numofSlot) taskmanager
Presto应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Presto应用程序开发流程 表1 Presto应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Presto的基本概念。 Presto应用开发常用概念 准备开发和运行环境
权限名 java.security.AllPermission 无(拥有执行任何操作的权限)。 使用第三方依赖Jar文件,发现权限不足并报错如下表示需配置对应的沙箱权限: Caused by: java.security.AccessControlException: access denied
cn=pg_search_dn,ou=Users,dc=hadoop,dc=com -e ppolicy 输入LDAP用户pg_search_dn的密码,出现如下提示表示该用户被锁定,则需要解锁用户,具体请参见解锁MRS集群LDAP管理账户。 ldap_bind: Invalid credentials (49);
行登录。 在NameNode WebUI,查看是否显示如下信息:“Safe mode is ON.” “Safe mode is ON.”表示安全模式已打开,后面的提示信息为告警信息,根据实际情况展现。 是,执行21。 否,执行24。 图1 Overview 以root用户登录客
pt/python/apache-flink-*.tar.gz /srv/pyflink-example 执行以下命令安装依赖包,显示如下表示安装成功。 python -m pip install apache-flink-libraries-*.tar.gz python -m
Flink应用开发简介 简介 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并
HetuEngine与其他组件的关系 HetuEngine安装依赖MRS集群,其中直接依赖的组件如表1所示。 表1 HetuEngine依赖的组件 名称 描述 HDFS Hadoop分布式文件系统(Hadoop Distributed File System),提供高吞吐量的数据访问,适合大规模数据集方面的应用。
认是否成功打开。 hbase shell balance_switch true balancer_enabled 执行结果为“true”表示负载均衡功能已打开。 执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 等待几分钟后,在告警列表中查看该告警是否清除。
执行以下命令打开负载均衡功能,并查看是否成功打开。 hbase shell balance_switch true balancer_enabled 执行结果为“true”表示负载均衡功能已打开。 执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 等待几分钟后,在告警列表中查看该告警是否清除。
FusionInsight_Cluster_1_Flume_Client.tar 校验软件包。 执行sha256sum -c命令校验解压得到的文件,返回“OK”表示校验通过。例如: sha256sum -c FusionInsight_Cluster_1_Flume_ClientConfig.tar.sha256
8中编写的json文件路径 --execute 提示“Successfully started reassignment of partitions”表示执行成功。 使用KafkaUI迁移分区(MRS 3.1.2及之后版本) 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight
Storm应用开发流程介绍 本文档主要基于Java API进行Storm拓扑的开发。 开发流程如图1所示。 图1 拓扑开发流程 表1 Storm应用开发的流程说明 阶段 说明 了解基本概念 在开始开发应用前,需要了解Storm的基本概念。 准备开发环境 推荐使用Eclipse工具
中断。 说明: 该参数仅在滚动重启Hive、Spark2x时可设置。 “批次容错阈值” 0 滚动重启实例批次执行失败容错次数,默认为0,即表示任意一个批次的实例重启失败后,滚动重启任务终止。 “数据节点滚动重启并发数”、“批次时间间隔”、“批次容错阈值”等高级参数需要根据实际情况
相同的路径。 执行节点 - 选择引导操作脚本所执行的节点类型。 Active Master - 仅在选中Master作为执行节点时有意义,表示是否只在Active Master节点上执行。默认关闭,即在所有Master节点执行。 参数 - 可选,引导操作脚本参数。 执行时机 组件首次启动后
单击要扩容的节点名称,进入到“云硬盘”界面。 在对应的数据盘单击“扩容”,进入到扩容磁盘界面。 如果当前界面只能看到系统盘,没有数据盘则表示当前ClickHouse节点数据盘暂不支持通过该操作进行扩容。 在“新增容量(GB)”参数下修改需要增加的磁盘容量,修改完成后单击“下一步”。
hetu-cli --catalog clickhouse_1 --schema default 执行以下命令,可正常查看数据库表信息或不报错即表示连接成功。 show tables; ClickHouse数据类型映射 ClickHouse数据类型到HetuEngine数据类型映射 ClickHouse类型
Producer需要Leader确认消息是否已经接收并认为已经处理完成。 acks=-1:需要等待在ISR列表的副本都确认接收到消息并处理完成才表示消息成功。配合“min.insync.replicas”可以确保多副本写入成功,只要有一个副本保持活跃状态,记录将不会丢失,此参数配置为-1时,会降低生产性能,请权衡后配置。