检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MemArtsCC会将数据持久化存储到计算侧的存储中(SSD),OBS对接MemArtsCC有如下使用场景: 提升存算分离架构访问数据的性能 利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升OBS上层应用数据读取效率。 减少OBS服务端压力 MemArtsCC会将热点数据存储
当集群已对接了OBS(存算分离或者冷热分离场景),若需要删除组件或者MRS集群,需要在删除组件或者集群后,手工将OBS上相关的业务数据进行删除。 删除MRS按需集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要删除的集群对应的“操作”列中,单击“删除”。如果确认删除,在弹出的“删除集群”窗口中输入“DELETE
的网络环境。 OBS权限控制 MRS用户与OBS权限的映射关系。 数据连接 集群关联的数据连接类型。 委托 集群绑定或修改的委托。 密钥对 密钥对名称,创建集群时设置。 如果创建集群时设置的登录方式为密码,则不显示。 Keberos认证 登录Manager管理页面时是否启用Kerberos认证。
可能原因 ClickHouse进程运行异常。 处理步骤 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 以客户端安装用户,登录客户端的节点,执行如下命令: cd {客户端安装路径}
ZooKeeper节点上安装了DNS。 网络故障。 KrbServer服务异常。 ZooKeeper实例状态异常。 磁盘容量不足。 处理步骤 检查DNS。 查看ZooKeeper实例所在节点上是否安装DNS。在ZooKeeper实例所在Linux节点使用命令cat /etc/resolv.conf,看该文件是否为空。
00倍的计算能力。Spark可以使用HDFS作为底层存储,使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力,包括小批量流式处理、离线批处理、SQL查询、数据挖掘等,用户可以在同一个应用中无缝结合使用这些能力。Spark2x的开源新
建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 使用root用户登录主管理节点。 ommdba用户密码不支持在备管理节点修改,否则集群无法正常工作。只需在主管理节点执行修改操作,无需在备管理节点操作。 执行以下命令,切换用户。 sudo su - omm 执行以下命令,切换目录。 cd
r集群互信。 操作步骤 登录Kafka服务所在Manager页面,选择“系统 > 权限 > 用户 > 添加用户”,创建一个具有Kafka权限的人机用户,例如创建人机用户ck_user1,首次使用需要修改初始密码。Kafka用户权限介绍请参考Kafka用户权限说明。 选择“集群 >
完成后,单击“完成”。 选择“集群 > 服务 > ClickHouse”,单击“实例”,查看“ClickHouseServer”的实例IP。 以root用户分别登录ClickHouseServer实例对应的主机节点,检查“/etc/hosts”文件内是否包含4中主机信息,如未包含
使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略(NodeLabel)
IDEA中导出的jar包复制到Linux客户端指定目录(例如“/opt/jarsource”)。 若业务需要访问外部组件,其所依赖的配置文件请参考相关开发指引,获取到配置文件后将配置文件放在1中指定的目录下。 若业务需要访问外部组件,其所依赖的jar包请参考相关开发指引,获取到jar包后将jar包放在1中指定的目录下。
否,执行13。 检查实例状态。 选择处于非“良好”状态的NodeManager实例并重启该实例。检查该告警是否恢复。 NodeManager重启过程中,提交到该节点的Container可能会重试到其他节点。 是,处理完毕。 否,执行11。 检查网络状态。 登录管理节点,ping丢
执行以下命令切换到客户端安装目录,配置环境变量并认证用户: cd HBase客户端安装目录 source bigdata_env kinit 组件业务用户(集群未启用Kerberos认证(普通模式)请跳过该操作) 执行以下命令登录HBase客户端,并创建表,写入数据后不要关闭HBase客户端。
在MRS集群中查询SparkSql和SparkScript两种类型作业的SQL语句运行完成后返回的查询结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions/
展示MRS版本列表 功能介绍 展示MRS版本列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/metadata/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
”四种。 “开始时间”:表示用户操作开始的时间,且时间为CET或CEST时间。 “结束时间”:表示用户操作结束的时间,且时间为CET或CEST时间。 “用户IP”:表示用户操作时所使用的IP地址。 “用户”:表示执行操作的用户名。 “主机”:表示用户操作发生在集群的哪个节点。如果操作不涉及节点则不保存信息。
配置弹性伸缩规则 功能介绍 对弹性伸缩规则进行编辑。 在创建集群并执行作业接口中也可以创建弹性伸缩规则。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数
产生告警的主机名。 对系统的影响 集群无法提供Yarn服务。用户无法执行新的application。已提交的application无法执行。 可能原因 ZooKeeper服务异常。 HDFS服务异常。 Yarn集群中没有主ResourceManager实例。 Yarn集群中的所有NodeManager节点异常。
root”,勾选default的“Submit”。 单击“确定”保存。 在MRS Manager界面选择“系统设置>用户管理>添加用户”,为样例工程创建一个用户。填写用户名例如sparkuser,用户类型为“机机”用户,加入用户组supergroup和kafkaadmin,设置其“主组”为supergroup,
使用的堆内存大小”的两倍(可根据实际业务场景进行修改)。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 重启服务期间服务不可用,业务中断。重启实例期间实例不可用,当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面,选择“运维