检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e的权限校验功能。此时任何用户都可以在Yarn或MapReduce上提交任务和查看任务信息,存在安全风险,请谨慎使用。 父主题: Yarn企业级能力增强
于全局的最大次数。如果大于了,那ResourceManager将会覆写这个单独的最大尝试次数。取值范围大于等于1。 2 父主题: Yarn企业级能力增强
计算。 作业故障有自动重启机制,重启策略可配置。 Flink WebUI应用流程 Flink WebUI应用流程参考如下步骤: 图3 Flink WebUI应用流程 表2 Flink WebUI应用流程说明 阶段 说明 参考章节 创建应用 通过应用来隔离不同的上层业务。 创建FlinkServer应用
205为ZooKeeper业务IP地址。 参数配置项为服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。 父主题: Kafka企业级能力增强
更多 > 滚动重启实例”,等待滚动重启完成生效。 开启Kerberos认证集群开启“enable.advertised.listener”配置后,客户端只支持使用Kerberos认证,不支持使用Plain认证。 参数“advertised.broker.id.port.map”与参数“actual
Spark连接其他服务认证问题 问题现象 Spark连接HBase,报认证失败或者连接不到HBase表。 Spark连接HBase报找不到jar包。 原因分析 问题1:HBase没有获取到当前任务的认证信息,导致连接HBase的时候认证失败,无法读取到相应数据。 问题2:Spar
0版本推出了冷热数据分层功能,用户可以使用冷热分层功能将数据从本地下沉到对象存储中,如图1所示。 图1 冷热数据分层功能原理 OBS对象存储支持海量数据存储,并提供安全可靠的、低成本的分布式存储服务。Doris主要基于OBS实现冷热分离功能,如图2所示。 图2 Doris冷热分离原理 父主题:
录。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令认证当前用户(若集群未启用Kerberos认证(普通模式)请跳过该操作): kinit 具有Hive操作权限的组件业务用户 执行以下命令登录Hive客户端: beeline
xml”添加自定义参数,设置“名称”为“hive.supports.over.32.roles”,“值”为“true”,修改后重启所有Hive实例。 父主题: Hive企业级能力增强
操作 仅在“正在进行的慢查询”页签显示,表示当前查询出来的慢SQL语句,可以单击“终止”结束该慢SQL语句查询。 父主题: Doris企业级能力增强
普通模式下,“yarn.http.policy”配置成“HTTP_ONLY”。 执行:wq命令保存。 重启客户端使配置生效。 父主题: Yarn企业级能力增强
普通模式下,“yarn.http.policy”配置成“HTTP_ONLY”。 执行:wq命令保存。 重启客户端使配置生效。 父主题: Yarn企业级能力增强
ver服务同样需要进行Kerberos认证。HBase实现了两套Thrift Server服务,此处“hbase-thrift-example”为ThriftServer实例服务的调用实现。 前提条件 已获取样例工程运行所需的配置文件及认证文件,详细操作请参见准备连接HBase集群配置文件。
beeline.reconnect.zk.path:存储任务执行进度的根节点,Hive服务默认是/beeline。 父主题: Hive企业级能力增强
HBase数据读写示例安全认证(单集群场景) 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单地互通,而需要在通信之前进行相互认证,以确保通信的安全性。HBase应用开发需要进行ZooKeeper和Kerberos安全认证。用于ZooKeeper认证的文件为“jaas.c
s clear_slowlog_responses ['SERVER_NAME1', 'SERVER_NAME2'] 父主题: HBase企业级能力增强
是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等,记录了每个重要的过程。 每个事件在发生后都会保存到一个队列中,Driver在创建SparkContext对象时,会启动一个线程循环的从该队列中依次拿出一个事件,然后发
Source和Sink表对应的字段需和Doris中表的字段名保持一致。 端口号为FE服务的HTTPS端口(开启Kerberos认证的集群)或HTTP端口(未开启Kerberos认证的集群)。可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,在搜
时,需要充分评估可能的风险。 操作示例 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户 执行以下命令登录Hive客户端。 beeline
执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户 kinit 组件业务用户 如果当前集群未启用Kerberos认证,则执行以下命令设置Hadoop用户名: export HADOOP_USER_NAME=hbase