检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Server管理员权限的用户用于访问Flink WebUI,如:flink_admin。并且用户需要添加hadoop、hive、kafkaadmin用户组,以及Manager_administrator角色。 创建作业步骤 使用flink_admin登录Manager,选择“集群
autoRefreshConfig.sh 按照提示输入FusionInsight Manager管理员用户名,密码以及OMS浮动IP地址。 OMS浮动IP地址获取方式:远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示OMS浮动IP地址
Doris”,勾选“Doris管理员权限”,单击“确定”。 选择“用户 > 添加用户”,填写用户名称,如“dorisuser”,“用户类型”选择“人机”,“密码策略”默认,输入用户密码并确认密码,关联“dorisrole”角色,单击“确定”。 使用新建的dorisuser用户重新登录FusionInsight Manager,修改该用户初始密码。
集群中所有DataNode角色实例保存的Block总数为:HDFS Block * 3。集群中每个DataNode实例平均保存的Blocks= HDFS Block * 3/DataNode节点数。 表2 DataNode支持规格 项目 规格 单个DataNode实例支持最大Block数 5
初始化MRS集群用户密码 用户如果遗忘密码或公共账号密码需要定期修改时,管理员可通过Manager初始化密码。初始化密码后系统用户首次使用账号需要修改密码。 初始化MRS集群用户密码对系统的影响 初始化MRS集群用户密码后,如果以前下载过用户认证文件,则需要重新下载并获取keytab文件。
单击“系统 > 权限 > 用户组 > 添加用户组”,为样例工程创建一个用户组,例如developgroup。 单击“系统 > 权限 > 用户 > 添加用户”,为样例工程创建一个用户。 填写用户名,例如developuser,按照表2选择相应的用户类型和需加入的用户组,并绑定角色developrole取得权限,单击“确定”。
该任务指导用户在运维场景或业务场景中使用Kafka客户端。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装客户端,例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及)
startDetail.log 实例启动日志。 TagSync运行日志 cleanupDetail.log 实例清理日志。 gc-worker.log 实例GC日志。 postinstallDetail.log 实例安装前启动后工作日志。 prestartDetail.log 实例启动前准备工作日志。
Windows系统,支持Windows 7以上版本。 本地开发环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: JDK版本号应该与用户要访问的FusionInsight Manager使用的版本号一致,具体的版本号可以查看对应版本文档或咨询系统管理员。 例如FusionInsight
参数入口,请参考修改集群服务配置参数。 参数说明 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL 表示Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL 表示Hue的审计日志级别。
使用Hue提交Oozie Spark2x作业 操作场景 该任务指导用户通过Hue界面提交Spark2x类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Spark 程序”按钮,将其拖到操作区中。 在弹出的“Spark”窗口配置“F
解锁MRS集群LDAP用户 在用户输入错误密码次数大于允许输入的错误次数,造成用户被锁定的场景下,用户可以通过Manager为锁定的用户解锁(仅支持解锁通过Manager创建的用户),也可以通过登录MRS集群节点后使用命令进行解锁。 如果服务出现异常状态,有可能是系统内部用户被锁定,需及时
DBService”,在“概览”页面查看“数据目录磁盘空间使用率”图表,检查数据目录磁盘空间使用率是否低于设置的阈值。 是,执行4。 否,执行5。 图1 数据目录磁盘空间使用率 等待2分钟查看告警是否自动恢复。 是,处理完毕。 否,执行5。 检查磁盘是否有误写入的大文件 以omm用户登录DBService主管理节点。
除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具的补充,Impala不会
使用Hue提交Oozie Spark2x作业 操作场景 该任务指导用户通过Hue界面提交Spark2x类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Spark 程序”按钮,将其拖到操作区中。 在弹出的“Spark”窗口配置“F
如何查看MRS作业的日志? MRS Console页面作业管理,每一条作业支持查看日志,包含launcherJob日志和realJob日志。 launcherJob作业的日志,一般会在stderr和stdout中打印错误日志,如下图所示: realJob的日志,可以通过MRS M
ig/producer.properties Broker实例IP地址:登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口:集群已启用Kerbero
间的百分比”。Hive数据仓库空间使用率指标默认提供一个阈值范围(85%),当检测到Hive数据仓库空间使用率超过阈值范围时产生该告警。 用户可通过“运维 >告警 >阈值设置 > 待操作集群的名称 > Hive > Hive已经使用的HDFS空间占可使用空间的百分比”修改阈值。
检查网络是否断连、硬件是否故障或者操作系统执行命令缓慢。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,单击主机名,查看该告警的主机地址。 以root用户登录主管理节点,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight
多种客户端连接方式,支持JDBC接口。 Hive的主要应用于海量数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制,在开源社区的Hive-3.1.0版本基础上,Hive新增如下特性: 数据文件加