检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Import 确认导入路径和名称,单击“Next”。 图13 Import Project from Maven 选择需要导入的工程,然后单击“Next”。 确认工程所用JDK,然后单击“Next”。 图14 Select project SDK 确认工程名称和路径,单击“Finish”完成导入。
properties等配置文件放置到工程的“conf”目录下。 在“conf”目录创建“jaas_mr.conf”文件并添加如下内容(test是user.keytab对应的用户名称): Client { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true
date_value; 参数描述 表1 DELETE SEGMENT by DATE参数描述 参数 描述 db_name Database名称,若未指定,则使用当前database。 table_name 给定database中的表名。 date_value 有效Segment加
置。 前提条件 Hive、HDFS组件功能正常。 操作步骤 登录FusionInsight Manager。 选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置 > 全部配置”,搜索“hive.local.dir.confblacklist”配置项。 在该配置项中
boolExpression] 参数描述 表1 DELETE参数 参数 描述 tableIdentifier 在其中执行删除操作的Hudi表的名称。 boolExpression 删除项的过滤条件 示例 示例1: delete from h0 where column1 = 'country';
date_value; 参数描述 表1 DELETE SEGMENT by DATE参数描述 参数 描述 db_name Database名称,如果未指定,则使用当前database。 table_name 给定database中的表名。 date_value 有效Segment
配置项有多个,逗号间隔。 使用cd命令进入使用率较高的磁盘对应的3中获取的数据存储目录下。 使用du -sh *命令打印出当前topic的名称及大小。 由于Kafka的全局的数据保留时间默认是7天。部分topic由于业务写入量大,而这些topic的分区正好在上面使用量高的磁盘上,因此导致磁盘使用率较高。
、删除、授权功能。 参数解释 FS Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径
> 配置 > 全部配置”。 选择“HiveServer(角色) > 自定义”,对参数文件“hive-site.xml”添加自定义参数,设置“名称”为“hive.internaltable.notallowlocation”,“值”为“true”。 单击“保存”保存配置。单击“实例”,勾选所有Hive实例,选择“更多
2-LTS.2.9修复问题列表: MRS Manager 解决重装主机后hetu的worker启动不到该主机上的问题 解决混搭集群,arm镜像证书与X86镜像证书不互信,导致作业提交到该arm节点上运行失败问题 解决获取ECS的临时ak/sk失败告警帮助文档缺失问题 大数据组件 解决Hive
examples.FemaleInfoCollection。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例: //配置Spark应用名称 val conf = new SparkConf().setAppName("CollectFemaleInfo") //提交Spark作业
集群安全组入口方向的Any协议源地址配置为0.0.0.0/0,导致集群可能遭受了外部网络攻击。 处理步骤 登录MRS集群页面,在“现有集群”中,单击对应的集群名称,进入集群详情页面。 单击“集群管理页面”后面的“前往 Manager”,弹出“访问MRS Manager页面”。 单击“管理安全组规则”,检查安全组规则配置。
图1 Spark Web UI 在Spark WebUI页面,用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID、应用名称、开始时间、执行时间、所属用户等信息。 父主题: 使用Spark/Spark2x
instant-time]; 参数描述 表1 COMPACTION参数 参数 描述 tableIdentifier 在其中执行删除操作的Hudi表的名称。 tablelocation Hudi表的存储路径。 instant-time 执行show compaction命令可以看到instant-time。
表4 Match 参数 是否必选 参数类型 描述 key 否 String 参数解释: 键。当前只有resource_name可用,表示集群的名称,后续扩展。 约束限制: 不涉及 取值范围: 长度为[1-64]个字符。 默认取值: 不涉及 value 否 String 参数解释: 值
example.Consumer类中。 /** * Consumer构造函数。 * @param topic 订阅的Topic名称。 */ public Consumer(String topic) { super("KafkaConsumerExample"
数据连接管理、应用管理、流表和作业管理等。 FlinkServer中有如表1所示三种资源权限: 表1 FlinkServer资源权限 权限名称 权限描述 备注 FlinkServer管理员权限 具有所有应用的编辑、查看权限。 是FlinkServer的最高权限。如果已经具有Fli
括32G和32G-HeapBaseMinAddress的值。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”,选择失败实例,选择“更多 > 重启实例”来重启失败实例。 父主题: HBase故障排除
-Dindexnames.to.build='idx1' 相关参数介绍如下: tablename.to.index:表示需修改索引状态的数据表的名称。 indexnames.to.build:指定的需要批量生成数据的索引名,可以同时指定多个,用#号分隔。 hbase.gsi.cleandata
在FusionInsight Manager系统中,选择“集群 > 服务 > HBase > 配置”,单击“全部配置”。在搜索框中输入参数名称,并进行修改。 表1 提升连续Put场景性能的参数 参数 描述 配置值 hbase.wal.hsync 设置是否启用WAL文件耐久性以将W