检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Logs确保端到端的完全一次性容错保证。 Structured Streaming的核心是将流式的数据看成一张不断增加的数据库表，这种流式的数据处理模型类似于数据块处理模型，可以把静态数据库表的一些查询操作应用在流式计算中，Spark执行标准的SQL查询，从不断增加的无边界表中获取数据。 图8 Structured
修改Manager参数日志 backup.log OMS备份脚本运行日志 supressionAlarm.log 告警脚本运行日志 om.log 生成om证书日志 backupplugin_ctl.log 备份恢复插件进程启动日志 getLogs.log 采集日志脚本运行日志 backupAuditLogs
通过Yarn WebUI查看队列信息时提示“ERROR 500”错误 问题背景与现象 在Yarn使用Capacity调度器时，单击Yarn WebUI页面的队列名称时，系统上报“ERROR 500”的错误。 HTTP ERROR 500 javax.servlet.ServletException:
误问题 解决偶现HiveSql作业提交失败问题 优化keytab文件下载的权限控制 大数据组件 解决Presto角色名称包含大写字母，权限模型未生效问题 解决Hive删除分区慢的问题 解决Spark长时间运行Token过期问题 MRS 2.1.0.8 修复问题列表： MRS Manager
误问题 解决偶现HiveSql作业提交失败问题 优化keytab文件下载的权限控制 大数据组件 解决Presto角色名称包含大写字母，权限模型未生效问题 解决Hive删除分区慢的问题 解决Spark长时间运行Token过期问题 MRS 2.1.0.8 修复问题列表： MRS Manager
sudo su - root su - omm 执行以下命令确认MRS Manager的主管理节点。 sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms.sh 回显信息中“HAActive”参数值为“active”的节点为主管理节点（如下例中“m
| INFO | pool-7-thread-1 | zookeeper is secure. | com.huawei.bigdata.om.extui.clickhouse.service.impl.QueryServiceImpl.initAuthContext(QueryServiceImpl
关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问MRS时，需要先切换至授权区域。 权限模型根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务
HDFS开源增强特性：HDFS冷热数据迁移 Hadoop历来主要被用于批量处理大规模的数据。相比处理低时延，批处理应用更关注原始数据处理的吞吐量，因此，目前已有的HDFS模型都运作良好。 然而，随着技术的发展，Hadoop逐渐被用于以随机I/O访问模式的操作为主的上层应用上，如Hive、HBase等，而这种时延
运行Manager应用报错“illegal character in path at index” 问题 运行应用程序时，操作失败，日志显示如图1所示。 图1 操作失败日志 回答 可能的原因是URL中带空格导致服务器端无法正确识别URL。 需要去掉URL中的空格。 父主题： Manager应用开发常见问题
Logs确保端到端的完全一次性容错保证。 Structured Streaming的核心是将流式的数据看成一张不断增加的数据库表，这种流式的数据处理模型类似于数据块处理模型，可以把静态数据库表的一些查询操作应用在流式计算中，Spark执行标准的SQL查询，从不断增加的无边界表中获取数据。 图8 Structured
ClickHouse用户及权限管理 用户权限模型 ClickHouse用户权限管理实现了对集群中各个ClickHouse实例上用户、角色、权限的统一管理。通过Manager UI的权限管理模块进行创建用户、创建角色、绑定ClickHouse访问权限配置等操作，通过用户绑定角色的方式，实现用户权限控制。
关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问MRS时，需要先切换至授权区域。 权限模型根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务
误问题 解决偶现HiveSql作业提交失败问题 优化keytab文件下载的权限控制 大数据组件 解决Presto角色名称包含大写字母，权限模型未生效问题 解决Hive删除分区慢的问题 解决Spark长时间运行Token过期问题 MRS 2.1.0.8 修复问题列表： MRS Manager
集群的资源管理器，基于应用程序对资源的需求进行调度。资源管理器提供一个调度策略的插件，它负责将集群资源分配给多个队列和应用程序。调度插件可以基于现有的能力调度和公平调度模型。 Kafka分区 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的有序且不可变的log文件。
如何修改现有集群的HDFS fs.defaultFS？ 问： 如何修改现有集群的HDFS NameSpace（fs.defaultFS）？ 答： 当前不建议在服务端修改或者新增集群内HDFS NameSpace（fs.defaultFS），如果只是为了客户端更好的识别，则一般可以通过修改客户端内“core-site
不建议修改的参数说明 配置项 说明 默认值或配置示例 spark.password.factory 用于选择密钥解析方式。 org.apache.spark.om.util.FIPasswordFactory spark.ssl.ui.protocol 配置ui的ssl协议。 TLSv1.2 spark
不建议修改的参数说明 配置项 说明 默认值或配置示例 spark.password.factory 用于选择密钥解析方式。 org.apache.spark.om.util.FIPasswordFactory spark.ssl.ui.protocol 配置ui的ssl协议。 TLSv1.2 spark
SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。
JDBCServer连接失败 问题现象 提示ha-cluster不识别（unknowHost或者必须加上端口）。 提示连接JDBCServer失败。 原因分析 问题1：使用spark-beeline命令连接JDBCServer，因为MRS_3.0以前的JDBCServer是HA模式，因此需要使用特定的URL和MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
