检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
re节点或者Task节点,对集群进行缩容,以使MRS拥有更优的存储、计算能力,降低运维成本。用户执行MRS集群缩容后,MRS服务将根据节点已安装的服务类型自动选择可以缩容的节点。 Core节点在缩容的时候,会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存,客户端自动刷新位
registrationRequired 是否需要使用Kryo来注册对象。当设为“true”时,如果序列化一个未使用Kryo注册的对象则会发生异常。当设为“false”(默认值)时,Kryo会将未注册的类名称一同写到序列化对象中。该操作会带来大量性能开销,所以在用户还没有从注册队列中删除相应的类时应该开启该选项。
WebUI查看应用程序运行情况。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 运行统计样例程序 确保样例工程依赖的所有jar包已正常获取。 在IntelliJ IDEA开发环境中,打开样例工程中“LocalRunner.java”工程,右键工程,选择“Run LocalRunner
则该用户为自定义用户。 取消IAM用户同步。 需要取消某个IAM用户同步时,在“已同步”的“用户”中勾选需要取消的用户名称,单击“取消同步”。 需要取消某个IAM用户组下的所有用户同步时,在“已同步”的“用户组”中勾选需要取消的用户组,单击“取消同步”。 父主题: 集群用户权限概述
的数据请求发送到MRS集群并动态转发到对应的站点。 前提条件 访问MRS集群Manager前,确保集群不处于启动中、停止中、停止、删除中、已删除、冻结状态。 操作视频 本视频为您介绍如何为MRS集群绑定弹性公网IP,并访问集群中组件的WebUI页面。 因不同版本操作界面可能存在差
WebUI查看应用程序运行情况。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 运行统计样例程序 确保样例工程依赖的所有jar包已正常获取。 在IntelliJ IDEA开发环境中,打开样例工程中“LocalRunner.java”工程,右键工程,选择“Run LocalRunner
fkaadmin组用户授予特定Topic的读写权限,才能访问对应Topic。 前提条件 系统管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组)。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafk
以下操作以使用TimeTravel Query查询Hudi COW表为例进行演示。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1
的数据请求发送到MRS集群并动态转发到对应的站点。 前提条件 访问MRS集群Manager前,确保集群不处于启动中、停止中、停止、删除中、已删除、冻结状态。 操作视频 本视频为您介绍如何为MRS集群绑定弹性公网IP,并访问集群中组件的WebUI页面。 因不同版本操作界面可能存在差
word[2]); } }); //将Stream1注册为Table1 tableEnv.registerDataStream("Table1", kafkaStream, "name
方法一:申请一台Windows的ECS访问MRS集群操作Impala,在安装开发环境后可直接运行样例代码。 在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。
<name>dfs.namenode.acls.enabled</name> <value>false</value> </property> 如果集群已启用Kerberos认证(安全模式),执行以下命令使用具有相应OBS路径“Read”和“Write”权限的用户进行认证,如果集群未启用Ker
是,执行3。 否,执行2。 联系网络管理员查看是否为网络故障,并修复故障。 是,执行3。 否,执行5。 等待5分钟,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行4。 分别登录主备管理节点,执行su - omm命令切换到omm,用户进入“${BIGDATA_HOME}/
table_comment] [WITH (property_name = expression [,… ] ) ] 描述 使用LIKE子句可以在一个新表中包含一个已存在的表所有的列定义。可以使用多个LIKE来复制多个表的列。 如果使用了INCLUDING PROPERTIES,表的所有属性也会被复制到新表,该选项最多只能对一个表生效。
Streaming中定义了每60s一个批次,回写数据总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时,会出现上述错误。 图1 应用场景 解决措施: 方式一:推荐优化Spark Streaming应用程序中定义的批次时间,降低批
Streaming中定义了每60s一个批次,回写数据总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时,会出现上述错误。 图1 应用场景 解决措施: 方式一:推荐优化Spark Streaming应用程序中定义的批次时间,降低批
检查ZooKeeper服务状态。 查看ZooKeeper服务的运行状态是否为“良好”。 是,执行8。 否,执行6。 如果ZooKeeper服务已停止,则启动ZooKeeper服务,否则参考ALM-13000 ZooKeeper服务不可用的处理步骤进行操作。 再次执行5。 检查Broker实例状态。
时提供大SQL、慢SQL的诊断与优化建议。 本章节适用于MRS 3.2.0及以后版本。 前提条件 集群运行正常并至少安装一个QAS实例。 已创建用于访问HetuEngine WebUI界面的用户,如Hetu_user,用户创建具体操作请参见创建HetuEngine权限角色。 开启SQL诊断功能
件等操作。 执行HDFS Shell的方法: 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。当前用户为准备HDFS应用开发用户时增加的开发用户。
alter '表名', {NAME => '列族名', BLOCKCACHE => true} 执行以下命令检查列族的BLOCKCACHE参数是否已更改为“true”: describe '表名' 等待几分钟后,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行14。 检查Reg