检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
等缩容成功后,若不想用Core节点的NodeManager再将其停止。 建议与总结 Core节点的NodeManager通常不会将其停止,建议不要随意变更集群部署结构。 父主题: 集群管理类
throws ClassNotFoundException { // 认证用的密码写入代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以密码保存在环境变量中来实现身份验证为例,运行本示例前,请
xml”、“coordinator.xml”、“bundle.xml”三类,最终由Oozie引擎解析并执行。 流程属性文件 流程运行期间的参数配置文件,对应文件名为“job.properties”,每个流程定义有且仅有一个该属性文件。 keytab文件 存放用户信息的密钥文件。在安全
SecurityKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 public class SecurityKafkaWordCount { public static
问题3:使用--keytab和--principal将keytab文件和对应用户带入任务中。如果此处的keytab文件和之前Kafka的jaas.conf中配置的是同一个,则Spark会报一个文件多次上传的问题。解决办法是复制一份keytab文件,使得--files和--keytab上传不同的文件。
这种情况为小概率事件且不影响Spark SQL对外展现的应用完成状态。也可以通过增大Yarn客户端连接次数和连接时长的方式减少此事件发生的概率。 配置详情请参见: MRS 3.2.0之前版本:http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn
障。 处理步骤 检查Manager中LdapServer进程是否正常。 登录主管理节点。 执行ps -ef | grep slapd,查询配置文件位于“${BIGDATA_HOME}/om-0.0.1/”路径下面的LdapServer资源进程是否正常。 判断资源正常有两个标识: 执行sh
参数 参数说明 操作类型 记录执行的操作类型,包括: 集群操作 作业操作 数据操作 操作IP 记录执行操作的IP地址。 说明: 当MRS集群部署失败时,集群会被自动删除,并且自动删除集群的操作日志中不包含用户的“操作IP”信息。 用户 执行操作的用户。 操作内容 记录实际操作内容,不超过2048字符。
- 准备工程 Kafka提供了不同场景下的样例程序,您可以下载样例工程进行程序学习。或者您可以根据指导,新建一个Kafka工程。 导入并配置Kafka样例工程 根据场景开发工程 提供了Producer和Consumer相关API的使用样例,包含了新旧API和多线程的使用场景,帮助用户快速熟悉Kafka接口。
xml”、“coordinator.xml”、“bundle.xml”三类,最终由Oozie引擎解析并执行。 流程属性文件 流程运行期间的参数配置文件,对应文件名为“job.properties”,每个流程定义有且仅有一个该属性文件。 keytab文件 存放用户信息的密钥文件。在安全
最大连接数较少。 处理步骤 以root用户分别登录OMS主节点和备节点。 在主备OMS节点的gateway-site.xml文件中增加以下配置,适当增加线程池。 vi /opt/knox/conf/gateway-site.xml <property> <name>gateway
及邮箱,让维护更加省心省力。 客户价值 配置消息通知后,可以实时给用户发送MRS集群健康状态,用户可以通过手机短信或邮箱实时接收到MRS集群变更及组件告警信息。MRS可以帮助用户轻松运维,实时监控,实时发送告警,操作灵活,使大数据业务部署更加省心省力。 特性描述 MRS联合消息通
端口:ResourceManager的HTTPS端口。可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 配置 > 全部配置”搜索并查看“yarn.resourcemanager.webapp.https.port”参数值获取。 输入 无 输出 JSON Response:
void main (String[] args) throws IOException { // 建立连接hbase的配置参数,此时需要保证hbase-site.xml在classpath中 SparkConf conf = new SparkConf()
系统的访问者,每个用户的权限由该用户关联的策略来获得。LDAP中的用户、用户组、角色信息会周期性的同步至Ranger。 权限 策略中针对资源可配置各种访问条件,例如文件的读写,具体可以配置允许条件、拒绝条件以及例外条件等。 权限机制 MRS集群采用LDAP存储用户和用户组的数据;角色的定义信息保存在关系数
确保集群稳定,不存在其他问题。如有任何问题,请先修复。 为“hbase.master.initializationmonitor.timeout”参数配置一个较大的值,默认值为“3600000”毫秒。 重启HBase服务。 父主题: HBase故障排除
hiveserverPort:需要替换为Hive服务的端口,可在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置”,在搜索框中搜索“hive.server2.thrift.port”查看,默认值为“10000”。 username:参数值为实际使用的
每秒流入消息字节数, 每秒流出消息字节数,每秒失败的请求数,每秒总的请求数和每秒生产的请求数。 在页面右上角,用户可以输入主机IP地址或者机架配置信息搜索查看该Broker信息。 父主题: 管理Kafka Topic
RegionServer负责提供表数据读写等服务,是HBase的数据处理和计算单元。 RegionServer一般与HDFS集群的DataNode部署在一起,实现数据的存储功能。 ZooKeeper集群 ZooKeeper为HBase集群中各进程提供分布式协作服务。各RegionServ
端口:ResourceManager的HTTP端口。可登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 配置 > 全部配置”搜索并查看“yarn.resourcemanager.webapp.port”参数值获取。 输入 无 输出 JSON Response: