检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
节点组。 MRS集群节点支持用户远程登录,远程登录包含界面登录和SSH登录两种方式: 界面登录:直接通过弹性云服务器管理控制台提供的远程登录功能,登录到集群节点的Linux命令行操作界面。 SSH登录:仅适用于Linux弹性云服务器,您可以使用远程登录工具(例如PuTTY)登录弹
简介 问题描述 Fastjson披露存在一处反序列化远程代码执行漏洞,漏洞影响所有1.2.80及以下版本,成功利用漏洞可绕过autoType限制,实现远程任意执行代码。 影响风险 存在漏洞的业务被攻击时,将可能导致攻击者远程在业务平台中执行任意代码。 预防与建议 在产品未发布对应
退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理? 问题 退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理? 回答 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。
参数keyTab和principal根据实际情况修改。 问题:一旦提交配置文件后,flume agent即在占用资源运行,如何恢复到没有上传配置文件的状态? 解决方法:提交一个内容为空的properties.properties文件。 父主题: Flume常见问题
soft,nolock,timeo=3,intr NFS服务器IP地址:共享目录 ${BIGDATA_DATA_HOME}/namenode-nfs 例如,NFS服务器的IP为“192.168.0.11”,共享目录为“/opt/Hadoop/NameNode”,则执行命令: mount
退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理? 问: 退订MRS集群后,在ECS中退订弹性云服务器时报异常如何处理? 答: 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。
FE服务故障如何恢复 问题现象 FE可能因为某些原因出现无法启动bdbje、FE之间无法同步等问题,无法进行元数据写操作、没有MASTER等。需要手动操作来恢复FE,手动恢复FE先通过当前“meta_dir”中的元数据,启动一个新的MASTER,然后再逐一添加其他FE。 操作步骤
Flume”进入Flume服务界面,在右上角选择“更多 > 下载客户端”,选择“选择客户端类型”为“完整客户端”,下载Flume服务客户端文件。 客户端文件名称为“FusionInsight_Cluster_<集群ID>_Flume_Client.tar”,本章节以“FusionInsi
如何在不同的namespaces上逻辑地分割数据 问题 如何在不同的namespaces上逻辑地分割数据? 回答 配置: 要在不同namespaces之间逻辑地分割数据,必须更新HDFS,Hive和Spark的“core-site.xml”文件中的以下配置。 改变Hive组件将改
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看: tailf /var/log/Bigdata/flu
如何使用IBM JDK连接ZooKeeper 问题 使用IBM的JDK的情况下客户端连接ZooKeeper失败。 回答 可能原因为IBM的JDK和普通JDK的jaas.conf文件格式不一样。 在使用IBM JDK时,建议使用如下jaas.conf文件模板,其中“useKeyta
将在准备MRS应用开发用户时获取的主集群keytab认证文件“user.keytab”与“krb5.conf”放置到二次样例“src/main/resources/conf”目录下。 参考准备HBase应用开发和运行环境章节,获取HBase主集群客户端配置文件“core-site.xml”、“hbase-site
x之前版本: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“节点管理 > 节点名称” ,进入弹性云服务器界面。单击“远程登录”按钮,完成Hive节点的登录。 MRS3.x及后续版本: 以root用户登录已安装Hive客户端的节点。 执行以下命令,进入客户端安
如何迁移Hive/HDFS的数据到ClickHouse 问题 如何迁移Hive/HDFS的数据到ClickHouse。 回答 可以将Hive中的数据导出为CSV文件,再将CSV文件导入到 ClickHouse。 从Hive中导出数据为 CSV: hive -e "select *
如何迁移Hive/HDFS的数据到ClickHouse 问题 如何迁移Hive/HDFS的数据到ClickHouse。 回答 可以将Hive中的数据导出为CSV文件,再将CSV文件导入到ClickHouse。 从Hive中导出数据为CSV: hive -e "select * from
如何配置HBase文件存储 使用条件 集群版本小于MRS 3.x。 使用场景 HBase文件存储模块(HBase FileStream,简称HFS)是HBase的独立模块,它作为对HBase与HDFS接口的封装,应用在MRS的上层应用,为上层应用提供文件的存储、读取、删除等功能。
组件分开部署,避免资源争抢。 创建自定义拓扑集群 文件管理 用户通过“文件管理”页面可以在分析集群进行文件夹创建、删除,文件导入、导出、删除操作,暂不支持文件创建功能。 导入:MRS目前只支持将OBS上的数据导入至HDFS中。上传文件速率会随着文件大小的增大而变慢,适合数据量小的场景下使用。
存储资源 为当前租户选择存储资源。 选择“HDFS”时,系统将自动在HDFS父租户目录中,以子租户名称创建文件夹。 不选择“HDFS”时,系统不会分配存储资源。 文件\目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为M
如何使用PySpark连接MRS Spark? 问: 如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群? 答: 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials
如何配置Flume定制脚本 Flume支持定制脚本,支持在传输前或者传输后执行指定的脚本,用于执行准备工作。 未安装Flume客户端场景 获取软件包。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面,在右上角选择“更多