检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有当前Flink作业的管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。
指定用户、用户组取消同步 功能介绍 指定用户、用户组取消同步 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/clusters/{cluster_id}/iam-sync-user 表1 路径参数 参数 是否必选 参数类型 描述 project_id
savepoint,另外,用户可以通过targetDirectory指定savepoint的存储路径,该路径必须是jobManager可以访问的,由于targetDirectory是可选的,如果用户没有配置targetDirectory,则是使用配置文件中“state.savepoints
使用HBase 连接到HBase响应慢 HBase用户认证失败 端口被占用导致RegionServer启动失败 节点剩余内存不足导致HBase启动失败 HDFS性能差导致HBase服务不可用告警 参数不合理导致HBase启动失败 残留进程导致Regionsever启动失败 HDFS上设置配额导致HBase启动失败
打开MRS集群详情页面,在告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机地址。 登录告警节点。 执行以下命令切换用户: sudo su - root su - omm 执行如下命令查看omm用户D状态进程号。 ps -elf | grep -v "\[thread_checkio\]"
根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用MRS资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将MRS资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如
bigdata_env kinit 组件业务用户 kinit一次票据时效24小时。24小时后再次运行样例,需要重新kinit。 与HTTP服务访问相比,以HTTPS方式访问Yarn时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SS
S、DBService要求状态正常,其他组件要求停止服务)。 是,执行7。 否,执行2。 恢复组件状态至要求状态,再一次启动该恢复任务。 登录MRS Manager管理界面,选择“告警管理”。在告警列表中单击该告警所在行,从“定位信息”处获得任务名。 选择“系统设置 > 恢复管理
FTP服务器的IP地址。 ftpName FTP服务器端口 FTP服务器的端口号。 22 FTP用户名 访问FTP服务器的用户名。 root FTP密码 访问FTP服务器的密码。 xxxx FTP模式 设置FTP访问模式,“ACTIVE”表示主动模式,“PASSIVE”表示被动模式。不指定参数值,默认为被动模式。
IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > Hive > 配置
ark2x的情况下,执行Hive on Spark任务。如果没有安装HBase,默认在执行Spark任务时,会尝试去连接Zookeeper访问HBase,直到超时,这样会造成任务卡顿。 在未安装HBase的环境,要执行Hive on Spark任务,可以按如下操作处理。如果是从已
参数说明 Hue常用参数请参见表1。 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL Hue的审计日志级别。
ark2x的情况下,执行Hive on Spark任务。如果没有安装HBase,默认在执行Spark任务时,会尝试去连接Zookeeper访问HBase,直到超时,这样会造成任务卡顿。 在未安装HBase的环境,要执行Hive on Spark任务,可以按如下操作处理。如果是从已
如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制,在开源社区的Hive-3.1.0版本基础上,Hive新增如下特性: 数据文件加密机制:开源社区的Hive特性,请参见https://cwiki
容器减少,集群性能下降。 可能原因 NodeManager节点所在主机的硬盘空间不足。 NodeManager节点本地目录omm用户无访问权限。 处理步骤 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。
基于某些业务要求,要求开发Spark应用程序实现如下功能: 根据用户名累计用户的历史消费金额,即用户总消费金额=100(用户当天的消费金额) + 1000(用户历史消费金额)。 上例所示,运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 使用HBase
磁盘IO利用率达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 根据实际磁盘IO使用情况,修改告警阈值和平滑次数配置项。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 磁盘 > 磁盘IO利用率”。
期内CPU使用率达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 基于实际CPU使用情况,修改告警阈值和平滑次数配置项。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > OMS > OMS服务 > CPU > 进程CPU使用大小”。
装节点,进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志。 Admin Ranger上操作审计信息,例如安全访问策略的创建/更新/删除、组件权限策略的创建/删除、role的创建/更新/删除等。 Login Sessions 登录Ranger的用户会话审计信息。
务进程,可能造成进程中敏感信息泄露。但是此类攻击需要攻击者拿到集群节点的Shell权限后才可以执行,MRS集群部署在VPC内,有安全组控制访问,故不将MRS集群暴露给不可信网络即可消解该风险。 父主题: 安全