检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
收集实时转储系统表日志 登录FusionInsight Manager页面,选择“运维 > 日志 > 下载”,在“服务”勾选“ClickHouseSystemTableDump”。 在“主机”中勾选需要获取的主机信息,单击“确定”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”。
Streaming中是一个常驻的Spark Job,Receiver对于Spark是一个普通的任务,但它的生命周期和Spark Streaming任务相同,并且占用一个核的计算资源。 在调试和测试等经常使用默认配置的场景下,要时刻注意核数与Receiver个数的关系。 父主题: Spark Streaming
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程,其导入方式相同。使用Python开发的样例工程不需要导入,直接打开Python文件(*
ommdba密码过期,OMS数据库无法管理,数据不能访问。 可能原因 该主机ommdba密码即将过期。 处理步骤 检查系统中ommdba密码是否即将过期。 以root用户登录集群故障节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行chage -l ommdba命令来查看当前ommdba用户密码设置信息。 查找“Password
Streaming中是一个常驻的Spark Job,Receiver对于Spark是一个普通的任务,但它的生命周期和Spark Streaming任务相同,并且占用一个核的计算资源。 在调试和测试等经常使用默认配置的场景下,要时刻注意核数与Receiver个数的关系。 父主题: Spark Streaming
amples”目录下的样例工程文件夹“hive-rest-client-example”。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”文件放到样例工程的“hive-rest-client-example\src\main\resources”目录下。
MRS当前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板进行部署集群的进程,无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。 如需自定义集群部署方式,可在创建集群时的“集群类型”选择“自定义”,实现用户自主定义集群的进程实例在集群节点中的部署方式。 仅MRS 3
去构造FlinkKafkaProducer010,运行时会报错? 为什么新创建的Flink用户提交任务失败,报ZooKeeper文件目录权限不足? 为什么Flink Web页面无法直接连接? 父主题: Flink开发指南
x及后续版本。 前提条件 当前用户具备待导入作业所在分组的编辑“Jobs Edit”权限。 如果作业所在的分组不存在,则会自动先创建该分组。当前用户就是该分组的创建者,拥有该分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
nChecker.java:300) 检查HDFS上表目录下所有文件目录的权限,发现有一个目录权限为700(只有文件属主能够访问),确认存在异常目录。 解决办法 确认该文件是否为手动异常导入,如不是数据文件或目录,删除该文件或目录。 当无法删除时,建议修改文件或目录权限为770。
将无法访问Flume服务端。 可能原因 Flume证书文件非法或损坏。 处理步骤 查看告警信息。 登录FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-24010 Flume证书文件非法或已损坏 > 定位信息”。查看告警上报的实例的IP地址。
实际为准。 元数据 选择“外置数据连接”,并配置以下参数: LakeFormation元数据:单击按钮开启。 LakeFormation连接实例:选择创建LakeFormation数据连接已创建的LakeFormation数据连接名称。 数据连接类型:保持默认。 例如,配置如下图
使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作,例如创建Topic,需同时授予用户相关权限,请参考Kafka用户权限说明。 在“KafkaManager WebUI”右侧,单击URL链接,访问KafkaUI的页面。
除Atomic数据库中的表后,它不会立即删除,而是会在480秒后删除。在删除表时,加上SYNC字段,即可解决该问题,例如:drop table t1 SYNC; 删除本地表和分布式表,则不会出现该问题,可不带SYNC字段,例如:drop table t1; 父主题: ClickHouse常用SQL语法
背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,使用Hive客户端实现A业务操作流程如下: 普通表的操作: 创建用户信息表user_info。 在用户信息中新增用户的学历、职称信息。 根据用户编号查询用户姓名和地址。 A业务结束后,删除用户信息表。 表1
前提条件 集群运行正常并至少安装一个QAS实例。 已创建用于访问HetuEngine WebUI界面的用户,如Hetu_user,用户创建具体操作请参见创建HetuEngine权限角色。 开启物化视图推荐功能 以Hetu_user用户登录FusionInsight Manager页面。
一次RPC时生效,ResultScanner close之前的请求会固定访问第一次RPC时使用的集群。 HBase Admin接口、实时写入接口只会访问主集群。所以主集群故障后,不能提供Admin接口功能和实时写入接口功能,只能提供Get、Scan查询服务。 HBase双读支持以下两种方式设置主备集群的相关配置:
计费模式概述 MRS当前支持包年/包月和按需计费模式,以满足不同场景下的用户需求。 包年/包月:根据集群购买时长,一次性支付集群费用。最短时长为1个月,最长时长为1年。 按需计费:节点按实际使用时长计费,计费周期为一小时。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式
除Atomic数据库中的表后,它不会立即删除,而是会在480秒后删除。在删除表时,加上SYNC字段,即可解决该问题,例如:drop table t1 SYNC; 删除本地表和分布式表,则不会出现该问题,可不带SYNC字段,例如:drop table t1; 父主题: ClickHouse常用SQL语法
发布时间 2020-05-20 解决的问题 MRS 1.8.10.6 修复问题列表: MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS 1.8.10.5 修复问题列表: MRS Manager 优化补丁机制 MRS大数据组件 解决Spark JobHistory内存泄露问题