检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调度器类型可登录Manager,在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler.class”参数进行查询。 表3 子租户参数一览(Superior调度器) 参数名 示例 描述 集群 MRS Cluster 显示上级父租户所在集群。 父租户资源
${BIGDATA_HOME}/FusionInsight_ClickHouse_*/x_x_ClickHouseServer/etc 执行以下命令,查看配置文件config.xml,确认OpenLDAP参数是否配置成功。 cat config.xml 以root用户登录ClickHouseServer实例所在的节点。
T去Kerberos认证,生成ST票据。 以上代码可在安全模式下的HDFS二次开发样例工程中创建KerberosTest.java,运行并查看调测结果,具体操作过程请参考HDFS开发指南(安全模式)。
'/' is HEALTHY 显示其他信息,表示有文件丢失或损坏,执行5。 登录FusionInsight Manager,选择“集群 >服务”查看HDFS的状态“运行状态”是否为“良好”。 是,执行6。 否,HDFS状态不健康,执行5。 修复HDFS异常的具体操作,任务结束。 确定修改DataNode的存储目录场景。
WebUI,然后选择“Utilities > Browse the file system”。 观察HDFS上“/flume/test”目录下是否有产生数据。 图4 查看HDFS目录和文件 父主题: 配置Flume非加密传输数据采集任务
Broker节点的主机名及端口,可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看。 SECURITY_PROTOCOL为连接Kafka的协议类型,在本示例中,配置为“SASL_PLAINTEXT”。 “TOKENID”和“HMAC”参考Kafka
调整。 登录FusionInsight Manager。 选择“集群 > 服务 > Spark2x > 更多 > 启用Ranger鉴权”,查看该参数是否置灰。 是,创建用户并在Ranger中赋予该用户相关操作权限: 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创
xpression”为标签表达式。 开启NodeLabel特性后,可以通过命令hdfs nodelabel -listNodeLabels查看每个DataNode的标签信息。 块副本位置选择 NodeLabel支持对各个副本的摆放采用不同的策略,如表达式“label-1,label-2
WebUI、刷新队列、设置NodeLabel、主备倒换等)的权限。 队列管理员:拥有在YARN集群上所管理队列的修改和查看权限。 普通用户:拥有在YARN集群上对自己提交应用的修改和查看权限。 自研超级调度器Superior Scheduler原理 Superior Scheduler是一个专门为Hadoop
'/' is HEALTHY 显示其他信息,表示有文件丢失或损坏,执行5。 登录FusionInsight Manager,选择“集群 >服务”查看HDFS的状态“运行状态”是否为“良好”。 是,执行6。 否,HDFS状态不健康,执行5。 修复HDFS异常的具体操作,任务结束。 确定修改DataNode的存储目录场景。
WebUI,然后选择“Utilities > Browse the file system”。 观察HDFS上“/flume/test”目录下是否有产生数据。 图4 查看HDFS目录和文件 父主题: 配置Flume非加密传输数据采集任务
T去Kerberos认证,生成ST票据。 以上代码可在安全模式下的HDFS二次开发样例工程中创建KerberosTest.java,运行并查看调测结果,具体操作过程请参考HDFS开发指南(安全模式)。 父主题: MRS应用开发安全认证说明
际域名,例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行及结果查看 导出本地jar包,请参见打包Strom样例工程应用。 获取下列jar包: 在安装好的Kafka客户端目录中进入Kafka/kafka/libs目录,获取如下jar包:
Broker节点的主机名及端口,可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看。 SECURITY_PROTOCOL为连接Kafka的协议类型,在本示例中,配置为“SASL_PLAINTEXT”。 “TOKENID”和“HMAC”参考Kafka
stream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream,逐个设置context。如果Spark Streaming应用创建1个输入流,但该输入流无输出逻辑时,则不会给它设
${BIGDATA_HOME}/FusionInsight_ClickHouse_*/x_x_ClickHouseServer/etc 执行以下命令,查看配置文件config.xml,确认OpenLDAP参数是否配置成功。 cat config.xml 以root用户登录ClickHouseServer实例所在的节点。
际域名,例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行及结果查看 导出本地jar包,请参见打包Storm样例工程应用。 获取相关配置文件,获取方式如下: 安全模式:参见4获取keytab文件。 普通模式:无。
stream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream,逐个设置context。若Spark Streaming应用创建1个输入流,但该输入流无输出逻辑时,则不会给它设置
xpression”为标签表达式。 开启NodeLabel特性后,可以通过命令hdfs nodelabel -listNodeLabels查看每个DataNode的标签信息。 块副本位置选择 NodeLabel支持对各个副本的摆放采用不同的策略,如表达式“label-1,label-2
example.JDBCExample为举例,具体以实际样例代码为准。 切换到“/opt/test”,执行以下命令,运行Jar包。 sh run.sh 查看Linux调测结果 “doris-jdbc-example”样例运行成功后,显示信息如下: 2023-08-17 23:13:13,473