检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 准备用于应用开发的ClickHouse集群用户并授予相应权限。
IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。
YARN Commands可同时供普通用户和管理员用户使用,它包含了少量普通用户可以执行的命令,比如jar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助: yarn --help 用法:进入Yarn客户端的任意目录,执行source命令导入环境变量,直接运行命令即可。
在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 方法
Flume”,在“实例”下单击准备上传配置文件的“Flume”角色,单击“实例配置 ”页面“flume.config.file”参数后的“上传文件”,选择2.d导出的“properties.properties”文件完成操作。 验证日志是否传输成功。 以具有HDFS组件管理权限的用户登录FusionInsight
当前路径下不存在“huawei”目录。 执行图1中的命令创建以“huawei”为名的目录。其中,用1中查找到的主机名或IP和端口分别替代命令中的<HOST>和<PORT>,在<PATH>中输入想要创建的目录“huawei”。 用主机名或IP代替<HOST>都是可以的,要注意HTTP和HTTPS的端口不同。 执行下列命令访问HTTP:
当前路径下不存在“huawei”目录。 执行图1中的命令创建以“huawei”为名的目录。其中,用1中查找到的主机名或IP和端口分别替代命令中的<HOST>和<PORT>,在<PATH>中输入想要创建的目录“huawei”。 用主机名或IP代替<HOST>都是可以的,要注意HTTP和HTTPS的端口不同。 执行下列命令访问HTTP:
keytab 用户用于认证的Keytab文件,将准备的开发用户的user.keytab文件复制到示例参数值的路径下。 ZKServerPrincipal zookeeper/hadoop.<系统域名> ZooKeeper服务端principal。请联系管理员获取对应账号。 下列代码片段在样例工程中com
Hive后,执行HQL语句访问OBS中的Hive数据。进行企业雇员信息的管理、查询。 通过Flink作业处理OBS数据 本实践指导使用MRS集群内置的Flink WordCount作业程序,来分析OBS文件系统中保存的源数据,以统计源数据中的单词出现次数。 MRS支持在大数据存储
以上安全认证代码中的hdfsDeveloper用户及该用户的user.keytab、krb5.conf为示例,实际操作时请联系管理员获取相应权限的账号以及对应账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域
keytab 用户用于认证的Keytab文件,将准备的开发用户的user.keytab文件复制到示例参数值的路径下。 ZKServerPrincipal zookeeper/hadoop.<系统域名> ZooKeeper服务端principal。请联系管理员获取对应账号。 下列代码片段在样例工程中com
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 确保集群网络环境安全。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。
'cf'。 MRS集群管理员已明确业务需求,并准备一个HBase管理员用户flume_hbase。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hbase的kerberos证书文件并保存在本地。
'cf'。 MRS集群管理员已明确业务需求,并准备一个HBase管理员用户flume_hbase。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hbase的kerberos证书文件并保存在本地。
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 确保集群网络环境安全。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。
以上安全认证代码中的hdfsDeveloper用户及该用户的user.keytab、krb5.conf为示例,实际操作时请联系管理员获取相应权限的账号以及对应该账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager,单击“系统 > 权限 > 域
9998(ficommon),10003(kafka) 解决办法 MRS Manager界面操作: 登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列,单击“修改”。 为用户加入kafkaadmin组。 图1 为用户加入kafkaadmin组 通过命令id查询用户组信息。
properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能
果没指定租户信息,默认使用Yarn为用户指定的默认租户,可能出现多个用户都默认使用相同的租户队列,从而无法达到资源隔离的效果。 如果用户需要进行资源隔离,将SQL分配给指定的资源队列来执行,来达到资源合理分配的目的时,可通过开启租户的严格校验模式来实现该需求,仅需配置“tenant
properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能