检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更改Kafka Broker的存储目录 操作场景 本章节内容适用于MRS 3.x及后续版本。 增加Broker的存储目录时,MRS集群管理员需要在FusionInsight Manager中修改Broker的存储目录,以保证Kafka正常工作,新创建的主题分区将在分区最少的目录中生成。适用于以下场景:
“指定作业”,在作业列表中勾选需要迁移的作业。 单击“确定”,开始作业迁移。当弹出框中进度条显示100%,则说明作业迁移完成。 父主题: 管理Loader作业
单击“导入”,进入作业导出界面。 在“导入”界面中选择要导入的配置文件的路径。 单击“上传”,开始导入作业。当弹出框中进度条显示100%,则说明作业导出完成。 父主题: 管理Loader作业
“是否导出密码”:导出时是否导出连接器密码,勾选时,导出加密后的密码串。 单击“确定”,开始导出作业。当弹出框中进度条显示100%,则说明作业导出完成。 父主题: 管理Loader作业
DataNode停止提供服务前允许失败的卷数。默认情况下,必须至少有一个有效卷。值-1表示有效卷的最小值是1。大于等于0的值表示允许失败的卷数。 -1 父主题: HDFS运维管理
/srv/BigData/data1 /tmp/ 登录MRS管理控制台。 在集群详情页面,选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 初始化Linux数据盘。
查看占用的内存进程,发现占用内存都是正常的业务进程。 结论:虚拟机内存不能满足服务需求。 处理步骤 建议扩大节点内存。 建议关闭不需要的服务。 父主题: 集群管理类
问: MRS集群内节点的登录方式(密码或密钥对)如何切换? 答: 不可以切换。创建集群时选择了节点登录方式后不能更改登录方式。 父主题: 集群管理类
如何给集群内用户添加租户管理权限? 分析集群和混合集群支持添加租户管理权限,流式集群不支持添加租户管理权限。给新建账号添加租户管理权限方法如下: MRS 3.x之前版本: 登录MRS Manager。 在“系统设置 > 用户管理”中选择新建的用户,单击“操作”列中的“修改”。 在
MRS集群支持提交哪些形式的Spark作业? 答: 当前在MRS页面,集群支持提交Spark、Spark Script和Spark SQL形式的Spark作业。 父主题: 作业管理类
客户端安装路径/Yarn/config ZooKeeper 客户端安装路径/Zookeeper/zookeeper/conf 父主题: 组件管理类
memory=4G; set spark.executor.instances=10; 参数值大小请根据实际业务情况调整。 父主题: 作业管理类
DAGScheduler: Final stage: Stage 0(reduce at SparkPi.scala:35) 父主题: Spark运维管理
failure-rate-interval: 10 min restart-strategy.failure-rate.delay: 10 s 父主题: 管理FlinkServer作业
查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 查看Manager应用调测结果 父主题: Manager管理开发指南
WebUI页面查看组件状态 使用具有Manager管理员权限的用户登录FusionInsight Manager页面,选择“集群 > 服务 > Doris”。 在概览页面,单击“FE WebUI”右侧的超链接进入Doris WebUI登录页面,输入具有Doris管理权限的用户名和密码(集群已启用K
ClickHouse用户权限管理实现了对集群中各个ClickHouse实例上用户、角色、权限的统一管理。通过Manager UI的权限管理模块进行创建用户、创建角色、绑定ClickHouse访问权限配置等操作,通过用户绑定角色的方式,实现用户权限控制。 管理资源:Clickhouse权限管理支持的资源如表1所示。
查看指定业务的详细信息,包括每个SQL的执行情况。 查看HetuEngine实例监控步骤 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
所示: log4j.rootCategory=DEBUG, sparklog DEBUG级别生效会有一定的时延。 父主题: Spark运维管理
外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间复制功能,该功能默认未启用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间复制功能。 对系统的影响 启用集群间复制功能需要重启Yarn,服务重启期间无法访问。 前提条件 两个集群HDFS的参数“hadoop