检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务 > ZooKeeper > 配置 > 全部配置 > quorumpeer > 性能”中,将“maxCnxns”的值根据实际情况调大。 图1 maxCnxns 保存配置,并重启ZooKeeper服务。 服务在重启过程中将不可用。另外,依赖该服务的上层服务也将受到影响。 界面上告警是否消除。
单击原生页面左侧“Scheduler”,在“Applications Queues”页框中查找对应的队列名,并下拉展开队列的详细信息,如图所示: 查看队列详情中“Used Resources”是否近似等于“Max Resources”,即任务提交的队列中资源已经使用完毕,若队列
登录Manager。选择“租户资源”。 MRS 2.x及之前版本选择“租户管理”。 选择“资源池 > 添加资源池”。 设置资源池的属性。 MRS 3.x及之后版本: 图1 添加资源 “集群”:选择待添加资源池的集群名称。(MRS 3.3.0及之后版本集群无该参数) “名称”:填写资源池的名称。可包含数字、字
小表数据发送到Join的task中,通过rebalance策略将大表数据打散到Join中,提高Flink SQL易用性,增强作业稳定性。 图1 Flink作业大小表Join 在使用Flink SQL时,该特性通过hints方法指定Join的左表或右表为广播表,另一张表为rebal
在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean install进行编译。 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成“hcatalog-example-*.jar”包。 以上Jar包名称仅供参考,具体名称以实际生成为主。
”中。 巡检结果保留时间:巡检结果在用户集群中的保留时长。巡检结果保存在集群的“/srv/Bigdata/operationCmd”中。 图1 巡检授权 关闭巡检授权 登录MRS控制台。 单击集群名称进入集群详情页面。 选择“巡检授权”页签。 单击“取消授权”。 配置MRS集群运维日志远程共享
f -hl,查看当前已有的数据目录和磁盘分区信息。 ClickHouse默认数据目录格式为:“/srv/BigData/dataN”。如上图举例所示,当前ClickHouse数据目录为:“/srv/BigData/data1”,对应分区为:“/dev/vdb1”。 执行以下操作使得新扩容的磁盘容量生效。
登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列,单击“修改”。 为用户加入kafkaadmin组。 图1 修改用户组 通过命令id查询用户组信息。 [root@host1 client]# id test uid=20032(test) gid=10001(hadoop)
在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean install进行编译。 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成“hcatalog-example-*.jar”包。 以上Jar包名称仅供参考,具体名称以实际生成为主。
本地使用IDEA工具导入样例工程,等待Maven工程下载相关依赖包。 本地配置好Maven及SDK相关参数后,样例工程会自动加载相关依赖包,具体操作可参考配置并导入样例工程。 图1 Spark Hive to HBase样例程序 在示例程序“SparkHivetoHbase”中,通过使用Spark调用Hive接口来操
置安全认证,确保Flink程序能够正常运行。 当前Flink系统支持认证和加密传输,要使用认证和加密传输,用户需要做如下准备: 安全认证 图1 Flink系统认证方式 Flink整个系统存在三种认证方式,需参考下表进行配置: 使用kerberos认证:Flink yarn client与Yarn
应的“CPU LIMIT(%)”、“CPU SHARE(%)”、“I/O(%)”和“Memory(%)”填写各服务的资源使用百分比数量。 图1 权重配置 所有服务使用的“CPU LIMIT(%)”和 “CPU SHARE(%)”资源配置总和可以大于100%。 所有服务使用的“I/
获取软件包。 访问集群Manager,在“集群”下拉列表中单击需要操作的集群名称。 选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 图1 下载客户端 在只安装单个服务的客户端的场景中,选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”,弹出“下载客户端”信息提示框。
f -hl,查看当前已有的数据目录和磁盘分区信息。 ClickHouse默认数据目录格式为:“/srv/BigData/dataN”。如上图举例所示,当前ClickHouse数据目录为:“/srv/BigData/data1”,对应分区为:“/dev/vdb1”。 执行以下操作使得新扩容的磁盘容量生效。
OPTION的权限。 ALTER VIEW view_name RENAME TOnew_view_name 是视图view_name的所有者。 DROP VIEW view_name 是视图view_name的所有者。 FUNCTION CREATE [TEMPORARY] FUNCTION
OBS路径:obs://sparksql/input/sparksql-test.txt HDFS路径:/user/userinput 图1 从OBS导入数据至HDFS 提交Spark SQL语句。 在MRS控制台选择“作业管理”,具体请参见运行Spark作业。 只有“mrs_
SessionStateUserGroupAuthenticator”。 执行以下命令创建Hive表。 可以在Hue UI里hive面板里面直接输入以下的SQL。 图1 执行Hive SQL命令 CREATE DATABASE test; CREATE TABLE IF NOT EXISTS `test`
” “Safe mode is ON.”表示安全模式已打开,后面的提示信息为告警信息,根据实际情况展现。 是,执行21。 否,执行24。 图1 Overview 以root用户登录客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source
在IDEA界面左下方找到Terminal,单击进入终端,执行mvn clean install进行编译 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成含有“hcatalog-example-*.jar”包。 以上jar包名称仅供参考,具体名称以实际生成为主。
在IDEA界面左下方找到Terminal,单击进入终端,执行mvn clean install进行编译 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成含有“hcatalog-example-*.jar”包。 以上jar包名称仅供参考,具体名称以实际生成为主。