检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 实例”,获取HSBroker所有实例的业务IP;在“配置”页签,搜索“server.port”,获取HSBroker端口号。 user 访问HetuServer的用户名,即在集群中创建的“人机”用户的用户名。 SSL 是否使用HTTPS连接,默认为“false”。 getStatementStatus()
Lib,Oozie客户端所在节点上还需要安装Spark客户端。 执行检查的用户需要拥有Oozie的“普通用户权限”,及HDFS“/user/oozie”目录的访问权限。 操作步骤 以客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量并认证用户。
0个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hue日志列表 日志类型 日志文件名 描述 运行日志 access.log 访问日志。 error.log 错误日志。 gsdb_check.log gaussDB检查日志。 kt_renewer.log Kerberos认证日志。
partition properties is forbidden 解决Flink流读Hudi非分区表带过滤条件,流读失败的问题 解决HetuEngine访问Hudi带log文件失败的问题 解决Hudi表执行drop partition后重新写入相同分区的数据,分区无法添加到MetaStore,
登录MRS控制台,在左侧导航栏选择“现有集群”,单击待操作集群的名称。 选择“组件管理”。 针对MRS 1.8.10及之前版本,登录MRS Manager页面,具体请参见访问MRS Manager,然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击
出列的序号。 ORDER BY子句在GROUP BY或HAVING子句之后,在OFFSET、LIMIT或FETCH FIRST子句之前进行计算。 按照SQL规范,ORDER BY子句只影响包含该子句的查询结果的行顺序。HetuEngine遵循该规范,并删除该子句的冗余用法,以避免对性能造成负面影响。
对应的机器ip和port为空引起的,出现该问题的时候使用hdfs fsck检查对应文件块的健康状态,删除损坏或者恢复丢失的块,重新进行任务计算即可。 父主题: HDFS故障排除
保证完全一致,因此双读只在第一次RPC时生效,ResultScanner close之前的请求会固定访问第一次RPC时使用的集群。 HBase Admin接口、实时写入接口只会访问主集群。所以主集群宕机后,不能提供Admin接口功能和实时写入接口功能,只能提供Get、Scan查询服务。
败。 对系统的影响 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 恢复数据后需要重启NameNode,重启完成前NameNode不可访问。 恢复数据后可能导致元数据与业务数据无法匹配,HDFS进入安全模式且HDFS服务启动失败。 前提条件 如果需要从远端HDFS恢复数据,需
采用Bucket索引,写入是通过主键Hash打散的,数据会均匀的写入到分区下每个桶。因为各个分区的数据量是会有波动的,分区下桶的个数设计一般会按照最大分区数据量计算,这样会出现越细粒度的分区,桶的个数会冗余越多。例如: 采用天级分区,平均的日增数据量是3GB,最多一天的日志是8GB,这个会采用Bucket桶数=
节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应MRS集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以
配置Storm业务用户密码策略 操作场景 本章节内容适用于MRS 3.x及后续版本。 使用Storm业务用户提交一个拓扑以后,该任务需要使用提交拓扑的用户身份持续运行。在拓扑运行的过程中,worker进程可能需要正常重启以保持拓扑工作。若业务用户的密码被修改,或密码使用天数超过了
对应的机器ip和port为空引起的,出现该问题的时候使用hdfs fsck检查对应文件块的健康状态,删除损坏或者恢复丢失的块,重新进行任务计算即可。 父主题: HDFS故障排除
/tmp/carbondata modifiedTime.mdt文件路径,可以设置为已有路径或新路径。 说明: 如果设置为已有路径,需确保所有用户都可以访问该路径,且该路径具有777权限。 carbon.enable.badrecord.action.redirect false 是否在数据加
args为待提交的spark application应用程序的参数。 参考信息 “通过JDBC访问Spark SQL”样例程序(Scala和Java语言),其对应的运行依赖包如下: 通过JDBC访问Spark SQL样例工程(Scala) commons-collections-<version>
否则无法创建备份任务。 如果数据要备份至NAS中,需要提前部署好NAS服务端。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。MRS 3.5.0及之后版本支持备份数据到OBS。 备份HDFS业务数据 在FusionInsight Manager,选择“运维
m),那么语句1“select d1, sum(m) from src group by d1, d2 with rollup”就是对维度d1和d2进行上卷操作计算度量m的结果,因此有实际业务意义,而其结果也跟预期是一致的。但语句2“select d1, sum(d1) from src group by
对象大小(字节) TTimePartitionSlot 4 TSeriesPartitionSlot 8 TConsensusGroupId 4 根据上表计算可得一个ConfigNode,如果创建一个存储组,持续运行10年,大约需要0.68G内存 : 10000(槽位) * 10(年)* 53 (分区)
使用情况,单击“下一步”。 确认任务信息,确认无误后可以单击“提交”提交任务。 数据迁移工具将根据待迁移数据表的大小自动计算需要迁移的分区,数据迁移量则是计算出的需要迁移的分区总大小。 提交迁移任务成功后,单击操作列的“启动”。如果任务类型是即时任务则开始执行任务,如果是定时任务则开始倒计时。
rollback_package.sh 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁