检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。例如,若Curl仅支持TLSv1协议,修改方法如下: 登录FusionInsight Manager页面,单击“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 >全部配置”,在“搜索”框里搜索“hadoop
reduce —> <k3,v3>(output) 业务核心 应用程序通常只需要分别继承Mapper类和Reducer类,并重写其map和reduce方法来实现业务逻辑,它们组成作业的核心。 MapReduce WebUI界面 用于监控正在运行的或者历史的MapReduce作业在MapRed
// 遍历hive表中的每一个partition, 然后更新到hbase表 // 如果数据条数较少,也可以使用foreach()方法 dataFrame.toJavaRDD().foreachPartition( new VoidFunction<Iterator<Row>>()
</property> 建议多个数据目录应该配置到多个磁盘中,否则所有的数据都将写入同一个磁盘,对性能有很大的影响。 重新启动HDFS。 按照如下方法将数据移动至新的数据目录。 mv/data1/datadir/current/finalized/subdir1 /data2/datad
<系统域名>作为执行物化视图自动刷新的用户, 当创建物化视图语句查询外部Hive数据源,且该数据源已开启数据源鉴权时,需修改执行自动刷新的用户,修改方法如下: 对端集群是否已安装HetuEngine服务。 是:执行3。 否:执行2。 准备系统用于自动刷新的用户。 在本端集群和对端集群同时创建同名人机用户。
Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作,使用Hive客户端对Hive表进行操作。 典型场景 通过Hue界面对Hive进行创建表的操作如下:
多主实例模式与非多主实例模式两种模式的JDBCServer接口相比,除连接方式不同外其他使用方法相同。由于Spark JDBCServer是Hive中的HiveServer2的另外一个实现,其使用方法,请参见Hive官网:https://cwiki.apache.org/conflue
多租户模式与非多租户模式两种模式的JDBCServer接口相比,除连接方式不同外其他使用方法相同。由于Spark JDBCServer是Hive中的HiveServer2的另外一个实现,其使用方法,请参见Hive官网:https://cwiki.apache.org/conflue
装保存了原始客户端。集群创建完成后,仅Master节点的客户端可以直接使用,Core节点客户端在使用前需要更新客户端配置文件。 操作步骤 方法一:所有版本集群均支持使用。 登录MRS Manager页面,具体请参见访问MRS Manager(MRS 3.x之前版本),然后选择“服务管理”。
下列代码片段在样例工程中com.huawei.bigdata.spark.examples包的FemaleInfoCollection类的main方法中。 基本安全认证: Spark Core和Spark SQL程序不需要访问HBase或ZooKeeper,所以使用基本的安全认证代码即可
下列代码片段在样例工程中com.huawei.bigdata.spark.examples包的FemaleInfoCollection类的main方法中。 基本安全认证: Spark Core和Spark SQL程序不需要访问HBase或ZooKeeper,所以使用基本的安全认证代码即可
// 遍历hive表中的每一个partition, 然后更新到hbase表 // 如果数据条数较少,也可以使用foreach()方法 dataFrame.toJavaRDD().foreachPartition( new VoidFunction<Iterator<Row>>()
reduce —> <k3,v3>(output) 业务核心 应用程序通常只需要分别继承Mapper类和Reducer类,并重写其map和reduce方法来实现业务逻辑,它们组成作业的核心。 MapReduce WebUI界面 用于监控正在运行的或者历史的MapReduce作业在MapRed
需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。例如,若Curl仅支持TLSv1协议,修改方法如下: 登录FusionInsight Manager页面,单击“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 >全部配置”,在“搜索”框里搜索“hadoop
员可以更新、删除本策略,它还可以基于原始策略创建子策略。 Deny Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”类似。 (可选)添加策略有效期。在页面右上角单击“Add Validity period”,设置“Start
项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。
调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/tags/switch 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
FE中和BE交互的线程池中正在排队的任务数超过阈值 ALM-50214 FE中处理任务的线程池中正在排队的任务数超过阈值 ALM-50215 FE Thrift各个方法接收的RPC请求中最长的耗时超过阈值 ALM-50216 FE节点使用的内存比率超过阈值 ALM-50217 FE节点堆内存的使用率超过阈值
的行删除。 联系硬件工程师插入全新磁盘,具体操作请参考对应型号的硬件产品文档,如果原来故障的磁盘是RAID,那么请按照对应RAID卡的配置方法配置RAID。 等待20~30分钟后执行mount命令(具体时间依赖磁盘的大小),检查磁盘是否已经挂载在目录“挂载目录名”上。 是,针对MRS