检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
灵活调整。 登录FusionInsight Manager。 选择“集群 > 服务 > Kafka > 更多 > 启用Ranger鉴权”,查看该参数是否置灰。 是,创建用户并在Ranger中赋予该用户相关操作权限: 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。
Broker节点的主机名及端口,可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看。 SECURITY_PROTOCOL为连接Kafka的协议类型,在本示例中,配置为“SASL_PLAINTEXT”。 “TOKENID”和“HMAC”参考Kafka
${BIGDATA_HOME}/FusionInsight_ClickHouse_*/x_x_ClickHouseServer/etc 执行以下命令,查看配置文件config.xml,确认OpenLDAP参数是否配置成功。 cat config.xml 以root用户登录ClickHouseServer实例所在的节点。
WebUI,然后选择“Utilities > Browse the file system”。 观察HDFS上“/flume/test”目录下是否有产生数据。 图4 查看HDFS目录和文件 父主题: 配置Flume非加密传输数据采集任务
'/' is HEALTHY 显示其他信息,表示有文件丢失或损坏,执行5。 登录FusionInsight Manager,选择“集群 >服务”查看HDFS的状态“运行状态”是否为“良好”。 是,执行6。 否,HDFS状态不健康,执行5。 修复HDFS异常的具体操作,任务结束。 确定修改DataNode的存储目录场景。
际域名,例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行及结果查看 导出本地jar包,请参见打包Strom样例工程应用。 获取下列jar包: 在安装好的Kafka客户端目录中进入Kafka/kafka/libs目录,获取如下jar包:
Broker节点的主机名及端口,可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看。 SECURITY_PROTOCOL为连接Kafka的协议类型,在本示例中,配置为“SASL_PLAINTEXT”。 “TOKENID”和“HMAC”参考Kafka
'/' is HEALTHY 显示其他信息,表示有文件丢失或损坏,执行5。 登录FusionInsight Manager,选择“集群 >服务”查看HDFS的状态“运行状态”是否为“良好”。 是,执行6。 否,HDFS状态不健康,执行5。 修复HDFS异常的具体操作,任务结束。 确定修改DataNode的存储目录场景。
WebUI,然后选择“Utilities > Browse the file system”。 观察HDFS上“/flume/test”目录下是否有产生数据。 图4 查看HDFS目录和文件 父主题: 配置Flume非加密传输数据采集任务
stream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream,逐个设置context。如果Spark Streaming应用创建1个输入流,但该输入流无输出逻辑时,则不会给它设
WebUI、刷新队列、设置NodeLabel、主备倒换等)的权限。 队列管理员:拥有在YARN集群上所管理队列的修改和查看权限。 普通用户:拥有在YARN集群上对自己提交应用的修改和查看权限。 自研超级调度器Superior Scheduler原理 Superior Scheduler是一个专门为Hadoop
xpression”为标签表达式。 开启NodeLabel特性后,可以通过命令hdfs nodelabel -listNodeLabels查看每个DataNode的标签信息。 块副本位置选择 NodeLabel支持对各个副本的摆放采用不同的策略,如表达式“label-1,label-2
际域名,例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行及结果查看 导出本地jar包,请参见打包Storm样例工程应用。 获取相关配置文件,获取方式如下: 安全模式:参见4获取keytab文件。 普通模式:无。
${BIGDATA_HOME}/FusionInsight_ClickHouse_*/x_x_ClickHouseServer/etc 执行以下命令,查看配置文件config.xml,确认OpenLDAP参数是否配置成功。 cat config.xml 以root用户登录ClickHouseServer实例所在的节点。
stream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream,逐个设置context。若Spark Streaming应用创建1个输入流,但该输入流无输出逻辑时,则不会给它设置
xpression”为标签表达式。 开启NodeLabel特性后,可以通过命令hdfs nodelabel -listNodeLabels查看每个DataNode的标签信息。 块副本位置选择 NodeLabel支持对各个副本的摆放采用不同的策略,如表达式“label-1,label-2
server_key.pem ca.key 若由集群用户生成,执行以下命令在管理节点的omm用户目录生成证书文件和密钥文件: 生成密钥文件: 执行以下命令,查看OpenSSL的版本是否为1.1.1及之后版本。 /usr/bin/openssl version 是,执行以下命令: openssl genrsa
单击“保存”,确认提示信息,单击“确定”保存配置。保存完成后,单击“完成”。 选择“集群 > 服务 > ClickHouse”,单击“实例”,查看“ClickHouseServer”的实例IP。 以root用户分别登录ClickHouseServer实例对应的主机节点,检查“/etc