检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过调整对应算子并行度提升性能 读写Hudi可以通过配置读写并发提升读写性能。 读算子的并行度调整参数：read.tasks 写算子的并行度调整参数：write.tasks 采用状态索引在作业重启的时候（非Checkpoint重启），需要读目标表重建索引，可以增大该算子并行度提升性能。 加载索引的并行度调整参数：write
否有表权限都可以进行查询。视图的权限是针对整个表而言的，不支持对其中的部分列创建视图权限。 视图权限在SparkSQL权限上的限制与列权限相似，详细如下： 在spark-sql模式下，只有视图权限而没有表权限，且没有HDFS的读取权限时，用户不能访问HDFS上存储的表的数据，即该情况下不支持对该表的视图进行查询。
否有表权限都可以进行查询。视图的权限是针对整个表而言的，不支持对其中的部分列创建视图权限。 视图权限在SparkSQL权限上的限制与列权限相似，详细如下： 在spark-sql模式下，只有视图权限而没有表权限，且没有HDFS的读取权限时，用户不能访问HDFS上存储的表的数据，即该情况下不支持对该表的视图进行查询。
配置HetuEngine物化视图改写能力 开启物化视图改写能力 HetuEngine支持在System级别或者Session级别开启物化视图改写能力，开启方法如下所示： Session级别： 参考快速使用HetuEngine访问Hive数据源在HetuEngine客户端执行set
配置HetuEngine物化视图缓存能力 对于一条SQL，创建了对应的物化视图后，执行这条SQL时，将被改写为通过物化视图查询。如果开启了物化视图的“重写缓存”功能，那么多次执行这条SQL后，改写后的SQL将会保存到缓存中（默认最多保存10000条），在缓存有效时间（默认24小时
配置HetuEngine智能物化视图能力 HetuEngine智能物化视图概述 基于智能物化视图，HetuEngine可以提供智能预计算与缓存加速能力。HetuEngine QAS角色能够自动提取历史SQL语句进行分析学习，基于收益最大化原则自动生成高价值物化视图的候选SQL。在
配置Ranger元数据存储至RDS 本章节旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除，也能够避免集群迁移时Ranger元数据的迁移。 停用集群组件Ranger鉴权 该操作仅在MRS
列单击“运行”，即可开始HBase数据迁移。 迁移完成后，可以在目的端集群和源端集群的HBase Shell命令行中，通过同样的查询语句，对比查询结果进行验证。 例如： 在目的端集群和源端集群上通过查询BTable表的记录数来确认数据条数是否一致，可添加“--endtime”参数
配置HetuEngine物化视图推荐能力 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务，开启物化视图推荐能力后，系统能自动学习并推荐对业务最有价值的物化视图SQL，使HetuEngine具备自动预计算加速能力，在相关场景下在线查
ClickHouse普通物化视图设计 建议 在查询方式固定的场景，建议使用物化视图加速。 物化视图创建参考如下： 明细表创建 CREATE TABLE counter ON CLUSTER default_cluster ( when DateTime DEFAULT now()
配置Spark通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Spark客户端创建Location为OBS路径的表。 集群安装后使用spark beeline 登录FusionInsight Manager，选择“集群 > 服务 >
配置HDFS通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录
告警”页面，找到“ALM-29104 Tserver进程内存占用率超过阈值”告警，查看告警来源。 在“运维 > 告警 > 阈值设置 > Kudu”，找到该告警的阈值，再对比集群Kudu实例的内存监控项，看是否超过阈值，处理内存使用率过高的问题，或修改阈值。 在“运维 > 告警”页签，查看该告警是否恢复。 是，处理完毕。
图解MapReduce服务
nt/etc/agent/autocheck”目录，然后执行vi keyfile命令，并搜索对应的异常文件名，可以看到该文件的正确权限。 对比当前主机上该文件的真实权限和1.e中获取到的文件应有权限，对该文件进行正确的权限和用户，用户组信息的修改。 等待一个小时，进入下一次检查，查看告警是否恢复。
登录MRS集群节点 本章节介绍如何使用弹性云服务器管理控制台上提供的远程登录（VNC方式）和如何使用密钥或密码方式（SSH方式）登录MRS集群中的节点，远程登录主要用于紧急运维场景，远程登录弹性云服务器进行相关维护操作。其他场景下，建议用户采用SSH方式登录。 如果需要使用SSH
*/ * from datagen; 为提升Kafka消费速度可将Kafka Source并行度与Topic分区数保持一致 当Kafka Source并行度大于Topic分区数时，多余的并行度不能消费数据。 父主题： FlinkSQL Connector开发规范
少或不变。 是，手动清除告警，操作结束。 否，执行7。 查看当前用户实时的连接个数和使用率对比历史数据是否有明显的异常增长，已经达到设定的最大连接数。 是，执行8。 否，执行9。 如果对比历史数据发现该用户的连接有明显的增加，甚至达到了设定的最大连接数，那么该用户的连接可能存在异常，需要和业务方进行确认。
查看HetuEngine物化视图自动化任务 本章节指导用户在HSConsole页面查看HetuEngine自动化任务的任务状态和任务执行结果等信息。用户可定期查看任务执行情况，帮助评估集群运行健康状况。 查看HetuEngine物化视图自动化任务步骤 使用用于访问HetuEngine
spark-beeline查询Hive视图报错 用户问题 MRS 3.1.2版本，spark-beeline查询Hive视图报错，报错如下： 根据提示set spark.sql.hive.manageFilesourcePartitions=false后，查不到数据（但是实际在Hive查询中是有数据的）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
