检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
减少OBS服务端压力 MemArtsCC会将热点数据存储在计算侧集群,可以起到降低OBS服务端带宽的作用。 提升存算分离架构访问数据的性能 利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Hadoop-OBS上层应用数据读取效率。 MemArtsCC与Spark的关系 Sp
x及以前版本)提供的步骤处理该告警。 登录告警节点,查看告警角色所在安装目录用户、用户组、权限等是否正常。正常用户、用户组、权限为“omm:ficommon 750”。 是,执行1.f。 否,执行1.e。 执行如下命令将文件夹权限修改为“750”,并将“用户:属组”修改为“omm:ficommon”。
在Hue WebUI使用作业浏览器 操作场景 用户需要使用图形化界面查看集群中所有作业时,可以通过Hue完成任务。 访问“Job Browser” 访问Hue WebUI,请参考访问Hue WebUI界面。 单击“Job Browser”。 默认显示当前集群的所有作业。 “Job
基本概念 账号 用户注册华为云时的账号,账号对其所拥有的资源及服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的
ver组件。 实例 组件的具体实例,一般情况下可使用组件表示。 例如KrbServer组件。 角色 组成一个完整组件的一类功能实体,一般情况下可使用角色表示。 例如KrbServer由KerberosAdmin角色和KerberosServer角色组成。 角色实例 服务角色在主机节点上运行的具体实例。
备份类型 备份内容 OMS 默认备份集群管理系统中的数据库数据(不包含告警数据)以及配置数据。 LdapServer 备份用户信息,包括用户名、密码、密钥、密码策略、用户组信息。 DBService 备份DBService管理的组件(Hive)的元数据。 NameNode 备份HDFS元数据。
以具有HDFS组件管理权限的用户登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。在FusionInsight Manager界面选择“集群 > 服务 > HDFS”,单击“NameNode(主)”对应的链接,打开HDFS
验证日志是否传输成功。 以具有HDFS组件管理权限的用户登录FusionInsight Manager,具体请参见访问集群Manager。在FusionInsight Manager界面选择“集群 > 服务 > HDFS”,单击“NameNode(主)”对应的链接,打开HDFS WebUI,然后选择“Utilities
以具有HDFS组件管理权限的用户登录FusionInsight Manager,具体请参见访问集群Manager。在FusionInsight Manager界面选择“集群 > 服务 > HDFS”,单击“NameNode(节点名称,主)”对应的链接,打开HDFS WebUI,然后选择“Utilities
Null)和Histogram(支持等宽直方图)。 CBO调优 自动优化:用户根据自己的业务场景,输入SQL语句查询,程序会自动去判断输入的SQL语句是否符合优化的场景,从而自动选择Join优化算法。 手动优化:用户可以通过DESC FORMATTED src命令查看统计信息,根据统计信息的分布,人工优化SQL语句。
解决Hive客户端连接HiveServer时建立session获取token时并发锁导致连接排队慢的问题 解决Hive任务持有metastore连接获但执行select NOTIFCATION_SEQUENCE for update时阻塞变慢,连接释放慢问题 解决Flink连接Hive的
Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 配置Flume角色的服务端参数,并将配置文件上传到集群。 以omm用户登录任意一个Flume角色所在的节点。执行以下命令进入
Spark连接其他服务认证问题 问题现象 Spark连接HBase,报认证失败或者连接不到HBase表。 Spark连接HBase报找不到jar包。 原因分析 问题1:HBase没有获取到当前任务的认证信息,导致连接HBase的时候认证失败,无法读取到相应数据。 问题2:Spar
“端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。(服务器共享路径不能设置为根目录,且共享路径的用户组和属组必须为nobody:nobody)
单击“实例”页签,勾选所有Broker实例,选择“更多 > 滚动重启实例”。 重启期间服务业务可能受损或中断,请在业务低峰期重启该实例。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行5。 检查是否慢盘故障。 在FusionInsight Manager界面,选择“运维 > 告警 >
初始化环境变量。 source bigdata_env kinit 组件业务用户 kinit一次票据时效24小时。24小时后再次运行样例,需要重新kinit。 与HTTP服务访问相比,以HTTPS方式访问Yarn时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议
的值为当前非堆内存使用量的两倍(或根据实际情况进行调整)。 重启受影响的服务或实例观察界面告警是否清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面,选择“运维
sslUsed配置为false,则此参数不允许为空。 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 实例”,单击对应的ClickHouseBalancer实例,选择“实例配置 > 全部配置”,搜索“lb_http_port”并获取其参数值,默认为21425。
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Impala完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Impala完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。