检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
y首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时,会根据HDFS上的part文件大小变更与否判断是否刷新首页面的app显示信息。如果文件为第一次查看,则将当前文件大小与0作比较,如果大于0则读取该文件。 分组的情况下,如果执行的app没
原因分析 可能是两台主机处于不同VPC网络中。 密码填写错误。 远端主机开启了防火墙。 处理步骤 两台主机处于不同VPC网络中 放开远端主机的22端口。 密码填写错误 请检查密码是否正确,密码中不能有特殊符号。 远端主机开启防火墙 先将这个MRS集群客户端下载到服务器端主机,然后通过Linux提供的scp命令复制到远端主机。
如下通过一个Mapreduce工作流的示例演示如何配置,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题: 开发Oozie配置文件
如下通过一个MapReduce工作流的示例演示如何配置,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题: 开发Oozie配置文件
如下通过一个MapReduce工作流的示例演示如何配置文件,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题: 开发Oozie配置文件
如下通过一个Mapreduce工作流的示例演示如何配置文件,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离线分析,统计出网站各模块的访问频率(日志文件存放在HDFS中)。 通过客户端中模板与配置文件提交任务。 父主题: 开发Oozie配置文件
当IoTDB所在集群为非安全模式时,请咨询IoTDB所在集群的集群管理员获取用户“root”的密码。 开启ssl IoTDB服务是否开启了SSL,安全集群默认开启。 是 truststore文件 IoTDB开启SSL后需上传“truststore.jks”文件。 - IoTDBServer业务IP:
执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdata_env 如果集群开启Kerberos认证,需要执行以下步骤,如果集群未开启Kerberos认证请跳过该步骤。 准备一个提交Flink作业的用户。 登录Manager,选择“系统 > 权限
y首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时,会根据HDFS上的part文件大小变更与否判断是否刷新首页面的app显示信息。若文件为第一次查看,则将当前文件大小与0作比较,如果大于0则读取该文件。 分组的情况下,如果执行的app没有
SQL防御前提条件 已安装包含Hive服务的集群客户端,例如安装目录为“/opt/hadoopclient”。 集群中Hive服务运行状态正常。 对于开启了Kerberos认证的集群,已创建具有Hive操作权限的用户。 配置Hive SQL防御使用约束 防御规则默认动态生效时间为5秒,修改队列
对于同一个固定资源对象通常只能配置一条策略,多条策略针对的具体资源对象重复时将无法保存。 配置策略时,不同条件的优先级可参考Ranger权限策略条件判断优先级。 Ranger权限策略条件判断优先级 配置资源的权限策略时,可配置针对该资源的允许条件(Allow Conditions)、允许例外条件(Exclude
概览”,选择“更多 > 同步配置”,单击“确认”完成配置同步。 登录到ClickHouse的扩容节点上,进入到以下目录,查看新增的数据目录是否已更新到配置文件中。确认无误后新增分区操作完成。 cd ${BIGDATA_HOME}/FusionInsight_ClickHouse_
对于同一个固定资源对象通常只能配置一条策略,多条策略针对的具体资源对象重复时将无法保存。 配置策略时,不同条件的优先级可参考Ranger权限策略条件判断优先级。 Ranger权限策略条件判断优先级 配置资源的权限策略时,可配置针对该资源的允许条件(Allow Conditions)、允许例外条件(Exclude
在安装了Ranger服务的普通模式集群中,Ranger可以支持基于OS用户进行组件资源的权限控制,支持启用Ranger鉴权的组件包括:HBase、HDFS、Hive、Spark2x、Yarn。 表1 普通模式组件鉴权一览表 服务 是否鉴权 是否支持开关鉴权 IoTDB 鉴权 不支持修改 ClickHouse 鉴权
HetuEngine用户权限说明 HetuEngine在集群已启用Kerberos认证(安全模式)时提供了如下两种权限管控方式,默认使用Ranger权限模型;在集群未启用Kerberos认证(普通模式)时提供了Ranger权限模型,默认未开启Ranger权限模型: Ranger权限管控方式,
S,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。 慢盘隔离特性约束: 隔离慢盘之前无法判断集群节点是否存在客户私有化数据,因此不要在节点数据盘存放个人私有化数据,避免慢盘隔离时对业务造成影响; 自动触发慢盘隔离动作后,对于原来写两副本
方式(短信和邮件通知)。 在MRS管理控制台,按照集群维度,在集群信息页面的告警页签中能够提供选择是否使能通知服务,只有对应集群开关开启以后,才能实现以下场景的功能: 在用户订阅了通知服务之后,当集群出现扩容成功/失败、缩容成功/失败、删除成功/失败、弹性升缩成功/失败的场景下,
x及后续版本适用于Hive,Spark2x。 开启此功能后,仅有Hive管理员可以创建库和在default库中建表,其他用户需通过Hive管理员授权才可使用库。 开启本功能之后,会限制普通用户新建库和在default库新建表。请充分考虑实际应用场景,再决定是否做出调整。 因为对执行用户做了限制
日志聚合下如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志? 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。 日志聚合功能是指:当
准备Kafka应用安全认证 前提条件 MRS服务集群开启了Kerberos认证,没有开启Kerberos认证的集群忽略该步骤。 准备认证机制代码 在开启Kerberos认证的环境下,各个组件之间的相互通信不能够简单地互通,而需要在通信之前进行相互认证,以确保通信的安全性。Kafk