检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户创建完成后,使用新建的developuser用户登录FusionInsight Manager,根据界面提示修改初始密码。 使用Ranger管理员用户rangeradmin登录Ranger WebUI页面。 rangeradmin用户默认密码为“Rangeradmin@123”,详细内容请参见用户账号一览表。
组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证(普通模式): clickhouse client --host 上报告警的ClickHouseServer实例IP
TABLE “查询” CLEAR CACHE TABLE “管理” REFRESH TABLE “查询” ADD FILE “管理” ADD JAR “管理” HEALTHCHECK - 父主题: Spark用户权限管理
Manager Java API接口介绍 典型接口说明 以下仅对Manager REST API开发过程中的典型方法进行描述。 表1 restApiDemo.src.rest.BasicAuthAcces 方法 描述 loginAndAccess (String webUrl,String
6的补丁中修复,也可通过在MRS Manager页面给同步的提交作业用户赋予该目录“/mrs/job-properties”的写入权限进行处理。 父主题: 作业管理类
checkpoint.period参数后,如果不重启NameNode进程,可能会产生误报的告警,需尽快重启NameNode进程。 父主题: 作业管理类
筛选女性网民上网时间数据信息。 汇总每个女性上网总时间。 筛选出停留时间大于两个小时的女性网民信息。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“
筛选女性网民上网时间数据信息。 汇总每个女性上网总时间。 筛选出停留时间大于两个小时的女性网民信息。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“
筛选女性网民,提取上网时间数据信息。 汇总每个女性上网总时间。 筛选出停留时间大于两个小时的女性网民信息。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“
/opt/client source bigdata_env 执行以下命令进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server <任一ZooKeeper实例所在节点业务IP>:<clientPort> 执行以下命令删除无用数据。
ClickHouse多租户特性通过“用户 > 租户角色 > 资源profiles管理”的模型,使用户拥有对集群资源的管理能力,目前支持内存和CPU优先级管理。多租户设计模型如下图所示: 通过FusionInsight Manager服务配置和租户管理页面的操作,用户可以实现设置服务内存限额、创建租户、关联
temp_user_data; 清理临时表。 DROP TABLE IF EXISTS temp_user_data; 父主题: Spark运维管理
x及后续版本,登录FusionInsight Manager,然后选择“集群 > 服务 > Kafka > 实例”。 单击指定的Broker实例并切换到“实例配置”。 在搜索框中输入“log.dirs”进行搜索,将新目录添加到配置项“log.dirs”的默认值后面,多个目录使用逗号分隔。
eption异常。 处理方法: 注:下面所说的$SPAKR_HOME默认是/opt/client/Spark/spark 解决方案1:手动切换日志配置文件。修改文件$SPARK_HOME/conf/spark-defaults.conf中spark.driver.extraJavaOptions的配置项-Dlog4j
Sink配置的IP所在节点与故障节点的网络状态。 确认Flume Sink是否是avro类型。 是,执行2.c。 否,执行3。 登录故障节点所在主机,执行以下命令切换root用户。 sudo su - root 执行ping Flume Sink配置的IP地址命令查看对端主机是否可以ping通。 是,执行3。
显中“eth0:wsom”表示OMS浮动IP地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址,请切换到Master1节点查询并记录。如果只有一个Master节点时,直接在该Master节点查询并记录。 LDAP管理员密码:参考MRS集群用
cgroups.cpuset.strict.enabled 设置为true时,container只能使用配置的CPU。 false 要从cpuset模式切换到Quota模式,必须遵循以下条件: 配置“yarn.nodemanager.linux-container-executor.cgroups
x及后续版本,登录FusionInsight Manager,然后选择“集群 > 服务 > Kafka > 实例”。 单击指定的Broker实例并切换到“实例配置”。 在搜索框中输入“log.dirs”进行搜索,将新目录添加到配置项“log.dirs”的默认值后面,多个目录使用逗号分隔。
使用CDM服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS Hive 使用CDM服务迁移MRS HDFS数据至OBS 周边云服务对接类
MRS集群的租户资源最小值设置为0后,只能同时运行一个Spark任务吗? 答: 租户资源最小值改为0后,只能同时运行一个Spark任务。 父主题: 作业管理类