检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--master=local[4] --driver-memory=512M -f /tpch.sql 在执行SQL语句前,请使用MRS集群管理员用户修改内存大小配置。 登录FusionInsight Manager,选择“集群 > 服务 > Spark2x > 配置”。 单击“全
g\hdfs-site.xml user.keytab 对于Kerberos安全认证提供HDFS用户信息。 如果是安全模式集群,您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。 krb5.conf Kerberos server配置信息。 不同集群的“user
是否启用本条生命周期规则。 启用 规则名称 规则名称,可自定义,用于识别不同的生命周期配置。 rule-test 前缀 满足指定前缀的对象将受生命周期规则管理,输入的对象前缀不能包括\:*?"<>|特殊字符,不能以/开头,不能两个/相邻。如果不输入则表示配置到整个文件系统。 说明: 为防止其他业
集群外节点业务IP为安装客户端所在的弹性云服务器的IP。集群内节点业务IP获取方式如下: 登录MapReduce服务管理控制台,选择“现有集群”,选中当前的集群并单击集群名,进入集群信息页面。在“节点管理”中查看安装客户端所在的节点IP。 keytab路径。 security.kerberos.login
buffer-flush.max-rows' = '0', 'sink.buffer-flush.interval' = '0s' 查看作业管理界面,作业状态为“运行中”。 参考管理Kafka Topic中的消息,向kafka中写入数据。 sh kafka-console-producer.sh --broker-list
详细说明请参考配置HetuEngine资源组。 表5 资源组配置参数说明 参数 描述 取值样例 resourcegroups 集群的资源管理组配置,参数文件下拉列表要选择“resource-groups.json”。 { "rootGroups": [{ "name": "global"
新获得连接。 用户不希望通过kinit命令进行票据认证,因为票据信息每隔24小时会过期。其中Keytab文件及principal信息请联系管理员获取,Beeline的连接样例如下所示: sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2
执行ping命令,查看故障RegionServer节点和备集群RegionServer所在主机的网络连接是否正常。 是,执行20。 否,执行18。 联系网络管理员恢复网络。 网络恢复后,在告警列表中,查看本告警是否清除。 是,处理完毕。 否,执行20。 收集故障信息。 在主备集群的FusionInsight
因此,能够基于数据的age自动识别出老化的数据,并将它们迁移到价格低廉的存储介质(如Disk/Archive)上,会给用户节省很高的存储成本,提高数据管理效率。 HDFS Auto Data Movement工具是HDFS冷热数据迁移的核心,根据数据的使用频率自动识别数据冷热设定不同的存储策略。该工具主要支持以下功能:
>,其中3中进行加密的密码与此步骤的密码相同。 将生成的密钥文件分发到集群中所有节点的相同目录下,并为omm用户配置该文件的读写权限。 请管理员根据企业安全要求,选择安全的操作步骤分发密钥。 如果在使用过程中,有节点出现密钥文件丢失的情况,请按照此步骤从其他节点复制到该节点。 在FusionInsight
需正常。请根据业务实际情况执行以下操作开启Multicast功能: (可选)服务端HMaster默认已开启并配置该特性,当节点上生效网卡除管理IP与业务IP挂载网卡外还存在其余网卡时,还需登录FusionInsight Manager界面,选择“集群 > 服务 > HBase >
--master=local[4] --driver-memory=512M -f /tpch.sql 在执行SQL语句前,请使用MRS集群管理员用户修改内存大小配置。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Spark2x >
否,执行4。 按“ALM-12006 节点故障”提供的步骤处理该告警。 以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。查看告警角色所在安装目录用户、用户组、权限等是否正常。正常用户和用户组的权限为“omm:ficommon 750”。 例如:NameN
/opt”目录。 如果本地网络无法直接连接客户端节点上传文件,可先将jar文件或者源数据上传至OBS文件系统中,然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中,再通过HDFS客户端使用hdfs dfs -get命令下载到客户端节点本地。 步骤4:运行作业并查看结果
后执行5。 以root用户登录告警节点,执行df -h命令,查看输出内容是否包含“磁盘名”字段的值,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行7。 否,执行6。 执行lsblk命令,是否可以查到“磁盘名”字段值与磁盘设备的映射关系。 是,执行7。 否,执行22。 以
用户能看到哪个队列的任务,要看这个用户是否有这个队列的admin权限。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理。 运行结果: { "apps": { "app": [ {
数(参数说明请参考参考信息),保存并重启Storm服务。 MRS Manager界面操作入口:登录MRS Manager,依次选择 “服务管理 > Storm> 配置”。 FusionInsight Manager界面操作入口:登录FusionInsight Manager,选择“集群
检查该告警是否恢复。 是,处理完毕。 否,执行9。 以root用户登录到产生告警的DataNode的节点,用户密码为安装前用户自定义,请咨询系统管理员。 如果告警原因为“DataNode数据目录创建失败”,执行10。 如果告警原因为“DataNode数据目录与系统关键目录(/或/boot)使用同一磁盘”,执行17。
/conf”。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf
FileSystem:是客户端应用的核心类。常用接口参见表1。 FileStatus:记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin:管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient:操作colocation文件的接口。常用接口参见表4。