检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FileSystem:是客户端应用的核心类。常用接口参见表1。 FileStatus:记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin:管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient:操作colocation文件的接口。常用接口参见表4。
FileSystem:是客户端应用的核心类。常用接口参见表1。 FileStatus:记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin:管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient:操作colocation文件的接口。常用接口参见表4。
FileSystem:是客户端应用的核心类。常用接口参见表1。 FileStatus:记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin:管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient:操作colocation文件的接口。常用接口参见表4。
长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS
长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表,HBase表权限控制未生效 MRS
FileSystem:是客户端应用的核心类。常用接口参见表1。 FileStatus:记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin:管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient:操作colocation文件的接口。常用接口参见表4。
ive MetaStore和cluster2的Hive MetaStore。 不同集群的用户系统没有同步,因此访问跨集群组件时,用户的权限管理由对端集群的用户配置决定。比如cluster1的userA没有访问本集群HBase meta表权限,但是cluster2的userA有访问该集群HBase
Kafka同时支持Ranger鉴权插件和社区自带鉴权插件。默认使用Ranger鉴权,基于Ranger鉴权插件,可进行细粒度的Kafka Acl管理。 服务端使用Ranger鉴权插件时,若“allow.everyone.if.no.acl.found”配置为“true”,使用非安全端口
Kafka同时支持Ranger鉴权插件和社区自带鉴权插件。默认使用Ranger鉴权,基于Ranger鉴权插件,可进行细粒度的Kafka Acl管理。 服务端使用Ranger鉴权插件时,如果“allow.everyone.if.no.acl.found”配置为“true”,使用非安全端
short-circuit local reads feature cannot be used because UNIX Domain sockets are not available on Windows. 3006 [main] INFO com.huawei.bigdata
er节点在相同的VPC,且Master节点可以访问转储服务器的IP地址和指定端口。转储服务器的FTP服务正常。 Manager支持采集当前管理的集群内所有监控指标数据,采集周期有30秒、60秒和300秒三种。监控指标数据在FTP服务器保存时,会根据采集周期分别保存在不同的监控文件中。
er代码可以都称为Consumer。 查看Kafka服务状态: MRS Manager界面操作:登录MRS Manager,依次选择“服务管理 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight Manager界面操作:登录FusionInsight
Flink要求1.12.2及以后版本,Hudi要求0.9.0及以后版本。 参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink WebUI,如:flink_admin。并且用户需要添加hadoop、hive、kafkaadmin用户组
公共环境变量: cd/opt/client sourcebigdata_env 在该目录下用hdfs用户进行命令行认证,用户密码请咨询集群管理员。 kinithdfs kinit一次票据时效24小时。24小时后再次运行样例,需要重新kinit命令。 进入“/opt/client/
本章节适用于MRS 3.x及后续版本。 场景1 DataNodes分区场景。 场景说明: 用户需要让不同的应用数据运行在不同的节点,分开管理,就可以通过标签表达式,来实现不同业务的分离,指定业务存放到对应的节点上。 通过配置NodeLabel特性使得: /HBase下的数据存储
代码设置运行用户。若在没有修改代码的场景下,执行以下语句添加环境变量: export HADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属supergroup用户组。 执行如下命令,运行Jar包。