检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Doris Doris数据模型概述 Doris用户权限管理 使用MySQL客户端连接Doris 快速使用Doris Doris数据导入 Doris数据分析 Doris企业级能力增强 Doris运维管理 Doris常见SQL语法说明 Doris常见问题 Doirs故障排除
HetuEngine用户权限管理 快速使用HetuEngine访问Hive数据源 创建HetuEngine计算实例 添加HetuEngine数据源 配置HetuEngine物化视图 配置HetuEngine SQL诊断功能 开发和部署HetuEngine UDF 管理HetuEngine数据源
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 配置TimelineServer支持HA Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
address=8000”,保存文件。 MapReduce为分布式计算框架,Map/Reduce任务启动所在的节点存在不确定性,建议将集群内NodeManager实例只保留一个运行,其他全部停止,以保证任务一定会在这个唯一运行的NodeManager节点上启动。 在客户端提交MapR
ve库目录,则使用的就是hadoop native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default
ve库目录,则使用的就是hadoop native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本不匹配,导致了python文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default
使用Hive Hive用户权限管理 Hive客户端使用实践 快速使用Hive进行数据分析 Hive数据存储及加密配置 Hive on HBase 配置Hive读取关系型数据库数据 Hive企业级能力增强 Hive性能调优 Hive运维管理 Hive常见SQL语法说明 Hive常见问题
只读两次commit之间的数据。不是全表扫描,比通过where条件取两次commit之前的数据效率要高很多。 read_optimized 读优化视图。 只读取表里面parquet文件中的数据, 对于mor表来说,新增数据会写到log里面,故该模式读取的数据不是最新的。 SparkSQL:
使用ClickHouse ClickHouse概述 ClickHouse用户权限管理 ClickHouse客户端使用实践 ClickHouse数据导入 ClickHouse企业级能力增强 ClickHouse性能调优 ClickHouse运维管理 ClickHouse常用SQL语法 ClickHouse常见问题
原因分析 当前提交任务的用户不具备Yarn对应队列的权限。 处理步骤 为当前用户配置Yarn队列的权限。 在Manager界面为当前用户绑定对应权限的角色,例如:default,详细操作请参考修改用户信息章节。 若Hive启用了Ranger鉴权,也可以参考添加Yarn的Ranger访问
参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 用户无法执行新的Storm任务。 可能原因 集群中Supervisor处于异常状态。
因此怀疑此语句查询的表对应的HDFS上的文件有问题,Map日志中打印出了解析的对应的文件名,将其从HDFS上下载到本地,看到是gz结尾的文件,使用tar命令解压报错,格式不正确无法解压。使用file命令查看文件属性发现此文件来自于FAT系统的压缩而非UNIX。 解决办法 将格式不正确的文件移除HDFS目录或者替换为正确的格式的文件。
新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户 MRS用户无法同步至Ranger管理界面 父主题: 使用Ranger(MRS 3.x)
使用Hive Hive用户权限管理 Hive客户端使用实践 快速使用Hive进行数据分析 Hive数据存储及加密配置 Hive on HBase 配置Hive读取关系型数据库 配置Hive读取Hudi表 Hive企业级能力增强 Hive性能调优 Hive运维管理 Hive常见SQL语法说明
使用Spark2x(MRS 3.x及之后版本) Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强
Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件,可以使用操作系统的文件系统存储,也可以使用HDFS这种分布式的文件系统存储。为了后续分析性能和数据的可靠性,一般使用HDFS进行存储。以HDFS存储来看,一个Hudi表的存储文件分为两类。 “
Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件,可以使用操作系统的文件系统存储,也可以使用HDFS这种分布式的文件系统存储。为了后续分析性能和数据的可靠性,一般使用HDFS进行存储。以HDFS存储来看,一个Hudi表的存储文件分为两类。 登录FusionInsight
是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 备Manager的配置文件没有更新。当发生主备倒换时,同步异常的配置文件可能会丢失。Manager及部分组件可能无法正常运行。
e>参数指定的name创建一个新的密钥,provider是由-provider参数指定。用户可以使用参数-cipher定义一个密码。目前默认的密码为"AES/CTR/NoPadding"。 默认密钥的长度为128。用户可以使用参数-size定义需要的密钥的长度。任意的attrib
如何修改开源组件Web页面会话超时时间? MRS租户管理中的动态资源计划页面无法刷新怎么办? Kafka Topic监控页签在Manager页面不显示如何处理? 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错或部分页面不可用如何处理? 如何切换访问MRS