检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DROP MATERIALIZED VIEW 语法 DROP MATERIALIZED VIEW [IF EXISTS] view_name 描述 用于删除现有的物化视图。若删除的视图不存在,且指定了可选参数if exists,则不会抛出错误信息。 删除物化视图将导致删除与指定视图关联的元数据和表数据。
字符串逆序转换 概述 “字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能,以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时,需要为HBase上层应用配置备集群信息,才可以使得该应用在备集群上运行。 对系统的影响 切换业务后,写入备集群的数据默
如何修复长时间处于RIT状态的Region 问题 在HBase WEBUI界面看到有长时间处于RIT状态的Region,如何修复? 回答 登录HMaster WebUI,在导航栏选择“Procedure & Locks”,查看是否有处于Waiting状态的process id。如
如何删除所有HiveServer中的永久函数 问题 如果需要删除永久函数(Permanent UDF),如何在多个HiveServer之间同步删除? 回答 因为多个HiveServer之间共用一个MetaStore存储数据库,所以MetaStore存储数据库和HiveServer
在Hive执行MapReduce任务长时间卡住的情况下想手动停止任务,需要如何操作? 回答 登录FusionInsight Manager。 选择“集群 > 服务 > Yarn”。 单击左侧页面的“ResourceManager(主机名称,主)”按钮,登录Yarn界面。 单击对应任务ID的按钮进入任务页面,单击界面左上角的“Kill
权限以及Yarn队列资源管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn”。 选择“配置 > 全部配置”,搜索参数“yarn
增强有限内存下的稳定性 配置场景 当前Spark SQL执行一个查询时需要使用大量的内存,尤其是在做聚合(Aggregate)和关联(Join)操作时,此时如果内存有限的情况下就很容易出现OutOfMemoryError。有限内存下的稳定性就是确保在有限内存下依然能够正确执行相关
(ms)/CPU time spent (ms)<10%。 主要通过如下参数进行调整。 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 建议:配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce
0及之后版本,如果数据库中分区超过百万级,并且分区都在表目录下。如需加快授权速度,可以在FusionInsight Manager 界面,选择“集群 > 服务 > Hive > 配置 > 全部配置 > MetaStore(角色) > 自定义”,添加“hive-ext.skip.grant.par
Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该: 登录FusionInsight Manager管理界面,修改JDBCServer的参数“spark.authenticate.enableSaslEncryp
使用Producer API向安全Topic生产消息 功能简介 用于实现Producer API向安全Topic生产消息。 代码样例 以下为用于实现Producer API向安全Topic生产消息的代码片段。 详细内容在com.huawei.bigdata.kafka.example
Kafka的consumer端配置信息。 kafkaSecurityMode Kafka服务是否开启安全模式标记文件。 producer.properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。
导入并配置Storm样例工程 背景信息 Storm客户端安装程序目录中包含了Storm开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight
flink-connector-kafka_*.jar可在Flink客户端或者服务端安装路径的opt目录下获取。 kafka-clients-*.jar由Kafka组件发布提供,可在Kafka组件客户端或者服务端安装路径下的lib目录下获取。 异步Checkpoint机制程序样例工程(Java/Scala)
导入并配置HBase样例工程 背景信息 获取HBase开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。
删除HBase表数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中
在本地Windows环境中调测HBase应用 操作场景 在程序代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在
Manager,选择“集群 > 服务 > HBase > 配置 > 全部配置”,搜索并修改ThriftServer实例的配置参数“hbase.thrift.security.qop”。该参数值需与“hbase.rpc.protection”的值一一对应。保存配置,重启配置过期节点服务使更改的配置生效。
在Hue WebUI使用作业浏览器 操作场景 用户需要使用图形化界面查看集群中所有作业时,可以通过Hue完成任务。 访问作业浏览器 访问Hue WebUI,请参考访问Hue WebUI界面。 单击作业。 默认显示当前集群的所有作业。 作业浏览器显示的数字表示集群中所有作业的总数。