检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理步骤 检查是否Level0层SST文件数太多 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表中,查看是否存在告警“ALM-45644 RocksDB的Level0层SST文件数持续超过阈值”。 是,执行3。 否,执行5。 参考ALM-45644
在首页中单击“HDFS”区域的组件插件名称,例如“hacluster”。 单击“Add New Policy”,添加HDFS权限控制策略。 根据业务需求配置相关参数。 表1 HDFS权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions
要在新扩容的节点上执行,请将脚本上传到OBS。 MRS集群节点弹性伸缩指标说明 节点组维度策略 在添加规则时,可以参考表1配置相应的指标。 表1 弹性伸缩指标列表 集群类型 指标名称 数值类型 说明 流式集群 StormSlotAvailable 整型 Storm组件的可用slot数。
HetuEngine中提供了如表2所示的日志级别。日志级别优先级从高到低分别是OFF、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 OFF OFF表示不记录日志。 ERROR ERROR表示记录当前时间处理存在错误信息。
“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。 若无法在Yarn页面上查看日志,可通过HDFS下载日志。 返回Manager,选择“集群 > 服务 > HDFS”,单击“NameNode
“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。 若无法在Yarn页面上查看日志,可通过HDFS下载日志 返回Manager,选择“集群 > 服务 > HDFS”,单击“NameNode
html。 启用Kerberos认证的集群使用Presto查询Hive Catalog的数据时,运行Presto客户端的用户需要有Hive表的访问权限,并且需要在Hive beeline中执行命令grant all on table [table_name] to group hive;,给Hive组赋权限。
luster1的userA没有访问本集群HBase meta表权限,但是cluster2的userA有访问该集群HBase meta表权限,则cluster1的userA可以访问cluster2的HBase meta表。 跨Manager之间的安全集群间组件互相访问,需要先配置系统互信。
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB
或集群正在发生主备倒换,将无法访问Manager。 检查用户权限:当前用户是否有访问Manager的权限,“ReadOnlyAccess”表示MRS的只读权限,拥有该权限的用户仅能查看MRS的资源,无法访问Manager页面。 检查是否绑定弹性IP:如果需要从本地访问Manage
时请修改默认值中的“-Xms2G -Xmx4G -XX:NewSize=128M -XX:MaxNewSize=256M”。参考值如下表所示。 表1 NameNode JVM配置 文件对象数量 参考值 10,000,000 -Xms6G -Xmx6G -XX:NewSize=512M
DBC访问Hive样例程序: 数据准备。 创建表,雇员信息表“employees_info”。 加载雇员信息数据到雇员信息表“employees_info”中。 数据分析。 统计表employees_info中有多少条记录。 删除表。 编译并运行程序 编译JDBC样例程序: 在I
选择“待操作集群的名称 > Hive > Hive读写权限”,勾选“default”的 “查询”、“插入”、“建表”、“递归”。 编辑角色,在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”,勾选“default”的“提交”,单击“确定”保存。
监控状态报表: 主页界面的右侧为图表区,包含关键监控状态的报表,例如集群中所有主机的状态、主机CPU使用率、主机内存使用率等。用户可以自定义在图表区展示的监控报表,请参考查看MRS集群资源监控指标。 监控图表的数据来源可在图表的左下方查看,每个监控报表可以放大查看具体数值,也可以关闭不再显示。
“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。 若无法在Yarn页面上查看日志,可通过HDFS下载日志 返回Manager,选择“集群 > 服务 > HDFS”,单击“NameNode
“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。 若无法在Yarn页面上查看日志,可通过HDFS下载日志 返回Manager,选择“集群 > 服务 > HDFS”,单击“NameNode
通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划 在客户端执行:hbase shell命令进入HBase命令行。 使用下面的命令创建HBase表: create 'table2','cf1' 开发思路 将要导入的数据构造成RDD。
则可能会出现并发问题。 Table实例缓存 如果一个Table实例可能长时间会被同一个线程固定且频繁地用到,例如,通过一个线程不断地往一个表内写入数据,那么这个Table在实例化后,就需要缓存下来,而不是每一次插入操作,都要实例化一个Table对象(尽管提倡实例缓存,但也不是在一
备份管理”。 在任务列表指定任务的“操作”列,选择“更多 > 查询历史”,打开备份任务执行历史记录。 在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。
在首页中单击“KAFKA”区域的组件插件名称如“Kafka”。 单击“Add New Policy”,添加Kafka权限控制策略。 根据业务需求配置相关参数。 表1 Kafka权限参数 参数名称 描述 Policy Type Access。 Policy Conditions IP过滤策略,可自定义,