检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一个SQL脚本里面会包含一个或多个子任务。如果SQL脚本中存在先创建再删除临时表的逻辑，建议将删除临时表的逻辑放到脚本的最后。假定删除临时表子任务的后续子任务执行失败，并且删除临时表的子任务之前的子任务用到了该临时表；当下一次以相同batchid执行该SQL脚本时，因为临时表
整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 Ranger架构如图1所示 图1 Ranger结构 表1 结构图说明 名称
安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能，请选择适当的时间进行补丁安装，不需要重启大数据组件。 MRS 1.9.3.10补丁安装/卸载过程中会自动重启OMS，安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能，请选择适当的时间进行补丁安装，不需要重启大数据组件。
跳过该步骤。 kinit 组件业务用户 执行以下命令，切换“export-csv.sh”运行脚本所在目录。 cd /opt/client/IoTDB/iotdb/tools 在运行导出脚本之前，需要输入一些查询或指定一些SQL文件。如果在一个SQL文件中有多个SQL，SQL应该被换行符分隔。例如：
$BASE_LOC/ -mmin +360 -exec rm {} \; 修改脚本权限。 chmod 755 clean_appcache.sh 增加一个定时任务来启动清理脚本，脚本路径请根据实际脚本存放位置修改。 查看定时任务：crontab -l 编辑定时任务：crontab
ALM-12110 获取ECS临时ak/sk失败 告警解释 meta每五分钟调用ECS接口获取AK/SK信息，并缓存在meta中，在AK/SK过期失效之前会再次调用ECS接口更新AK/SK，如果连续三次调用接口失败，会产生该告警。 当meta服务调用ECS接口成功时，告警清除。 告警属性
source <客户端安装路径>/bigdata_env 问题二：如何设置HDFS客户端运行时的日志级别？ HDFS客户端运行时的日志是默认输出到管理控制台的，其级别默认为INFO。如果需要开启DEBUG级别日志，可以通过导出一个环境变量来设置，命令如下： export HADOOP_ROOT_LOGGER=DEBUG
connection未正常关闭。 HBase WAL未正常滚动，导致产生超大WAL。 HBase Netty连接存在内存泄漏。 HBase健康检查脚本调用超时导致误上报服务不可用告警。 HBase支持过载保护流控和告警。 HBase主备倒换后，RSGroup显示DEAD REGIONSERVERS错误。
前（或后）可以在指定的节点上执行脚本。用户可以通过引导操作来完成安装MRS还没支持的第三方软件，修改集群运行环境等自定义操作。如果集群扩容，选择执行引导操作，则引导操作也会以相同方式在新增节点上执行。MRS会使用root用户执行用户指定的脚本，脚本内部可以通过su - xxx命令切换用户。
MRS支持将集群中所有部署角色的节点，按管理节点、控制节点和数据节点进行分类，分别计算关键主机监控指标在每类节点上的变化趋势，并在报表中按用户自定义的周期显示分布曲线图。MRS集群指标监控采用周期性监控，历史监控平均周期约为5分钟。 用户可在MRS管理控制台或者Manager界面中查看集群整体的资源概况。
SparkScript：提交SparkScript脚本，批量执行Spark SQL语句。 Spark SQL：使用Spark提供的类似SQL的Spark SQL语句，实时查询和分析用户数据。 Hive：建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。
MRS-BASIC服务费用 云主机 云硬盘 计费模式 按需 资源名称/ID MRS服务管理费：MRS集群节点名称和ID，例如：3333-node-master1DqDR.com，777d75bd-d60e-4546-a2b4-712406ffd744 弹性云服务器费用：弹性云服务器名称和ID，例
服务创建策略及委托。 配置OBS权限控制映射关系 在MRS控制台，选择“现有集群”并单击集群名称。 在“概览”页签的基本信息区域，单击“OBS权限控制”右侧的“单击管理”。 单击“添加映射”，并参考表1配置相关参数。 表1 添加OBS权限控制映射关系 参数 说明 IAM委托 选择2中创建的委托。
申请一台windows的ECS访问MRS集群操作hbase。安装开发环境后运行样例代码。申请ECS访问MRS集群的步骤如下： 在“现有集群”列表中，单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”、“集群控制台地址”，以及Master节点的“默认安全组”。 在弹性云服务管理控制台，创建一个新的弹性云服务器。
告警。 出现这种情况时，将内置机制关闭，禁止自动修改日志级别即可恢复。 解决办法 分别登录到集群主备NameNode节点，执行以下命令备份脚本。 cd $BIGDATA_HOME/FusionInsight_Current/*_*_NameNode/install/hadoop/sbin
访问。其中ThriftServer的连接方式也有Beeline和JDBC客户端代码两种。 spark-sql脚本、spark-shell脚本和spark-submit脚本（运行的应用中带SQL操作），不支持使用proxy user参数去提交任务。 父主题： Spark应用开发概述
审计与日志 审计 MRS服务在管理控制台上的操作日志，例如创建或删除MRS集群的日志记录，通过云审计服务（Cloud Trace Service，CTS）实现。CTS是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规
getLoginUser().reloginFromKeytab(); 多个脚本同时使用kinit命令认证同一个用户的场景下，需要在各个脚本中执行kinit命令之前，先执行export KRB5CCNAME=keytab_path命令，确保每个脚本进程中KRB5CCNAME指向的路径不一致。 父主题：
${BIGDATA_HOME}/FusionInsight_Flink_*/install/FusionInsight-Flink-*/flink/sbin，进入Flink脚本目录。 执行命令sh proceed_ha_ssl_cert.sh，重新生成HA证书，等待1分钟，观察此告警是否被清除。 是，执行8。 否，执行9。
properties”关键字，找到该告警上报实例对应的健康检查配置项，记录“monitor.info”参数配置的接口或者脚本路径，如下图所示。 查看接口或者脚本中打印的日志，并修复对应问题。 等待5分钟，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行9。 检查磁盘空间是否不足。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
