正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目”,在企业项目管理页面查看全部企业项目。 输入“日志存储时间”,如果不设置,系统默认存储时间为30天。日志组创建后,日志存储时间支持修改。 云日志服务的计费单位为日志使用量,免费额度为500MB/月,包括日志读写、日志存储和日志索引,超过免费额度后将按照日志使用量进行收费。 单击“确定”,完成日志组的创建。
Spark SQL无法查询到ORC类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据?主要有以下两种场景存在这个问题: 对于分区表和非分区表,在Hive客户端中执行插入数据的操作后,会出现Spark SQL无法查询到最新插入的数据的问题。
Spark SQL无法查询到ORC类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据?主要有以下两种场景存在这个问题: 对于分区表和非分区表,在Hive客户端中执行插入数据的操作后,会出现Spark SQL无法查询到最新插入的数据的问题。
Spark SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据?主要有以下两种场景存在这个问题: 对于分区表和非分区表,在Hive客户端中执行插入数据的操作后,会出现Spark SQL无法查询到最新插入的数据的问题。
服务审计日志在系统本地最多保存7个压缩文件,如果该故障持续存在,本地服务审计日志可能会丢失。 管理审计日志每达到10万条会以文件形式转储到本地,存储在本地的文件最多保留50个,如果该故障持续存在,管理审计日志可能会丢失。 可能原因 无法连接OBS服务器。 指定的OBS文件系统不存在。 用户AK/SK信息失效。
ALM-19021 RegionSever handler 使用率超过阈值 告警解释 系统每30秒周期性检测每个HBase服务实例RegionServer的handler使用率。当检测到某个RegionServer上的handler使用率超出阈值(默认连续5次超过默认阈值90%)
表1 IoTDB权限一览 权限名称 说明 用户需要的权限 示例 SET_STORAGE_GROUP 创建存储组,包含设置存储组的权限和设置或取消存储组的存活时间(TTL)。 设置存储组 set storage group to root.ln; set ttl to root.ln 3600000;
转换为低频访问存储天数 指定在对象最后一次更新后多少天,受规则影响的对象将转换为低频访问存储。至少设置为30天。 30天 转换为归档存储天数 指定在对象最后一次更新后多少天,受规则影响的对象将转换为归档存储。若同时设置转换为低频访问存储和转换为归档存储,则转换为归档存储的时间要比转
<activeProfile>huaweicloudsdk</activeProfile> 华为开源镜像站不提供第三方开源jar包下载,请配置开源镜像后,额外配置第三方Maven镜像仓库地址。 使用IntelliJ IDEA开发工具时,可单击“File > Settings > Build
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本,如何让spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端spark2x
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(例如自定义udf包)区分x86和TaiShan版本,如何让Spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端Spark2x
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本,如何让spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端spark2x
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(例如自定义udf包)区分x86和TaiShan版本,如何让Spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端Spark2x
的集群健康检查结果,根据检查结果修复不健康项目。 检查网络通讯 检查集群网络工作状态,节点之间的网络通讯是否存在延时。 检查存储状态 检查集群总体数据存储量是否出现了突然的增长: 磁盘使用量是否已接近阈值,排查原因,例如是否有业务留下的垃圾数据或冷数据需要清理。 业务是否有增长需求,磁盘分区是否需要扩容。
单击“下一步”。 在“4.输出设置”,设置数据保存目标位置,然后单击“保存”保存作业或“保存并运行”,保存作业并运行作业。 表4 输出配置参数一览表 存储类型 参数名 解释说明 HDFS 文件类型 在下拉菜单中选择数据导入HDFS后保存文件的文件类型。 “TEXT_FILE”:导入文本文件并保存为文本文件。
456 | INFO | [group-metadata-manager-0] | [Group Metadata Manager on Broker 2]: Removed 0 expired offsets in 0 milliseconds. | kafka.coordinator
les-1.0.jar”为jar包路径,“hdfs://hacluster/tmp/example/hoodie_java”为Hudi表的存储路径,“ hoodie_java”为Hudi表的表名。 运行Scala样例程序: spark-submit --class com.huawei
ALM-45431 ClickHouse 实例不满足拓扑分配 告警解释 ClickHouseServer实例分布不满足拓扑分配要求。 告警属性 告警ID 告警级别 是否自动清除 45431 紧急 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。
常见jar包冲突处理方式 问题现象 Spark能对接很多的第三方工具,因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带,这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致,在使用过程中就有可能出现jar包冲突的情况。 常见的jar包冲突报错有: 1、报错类找不到:java
常见jar包冲突处理方式 问题现象 Spark能对接很多的第三方工具,因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带,这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致,在使用过程中就有可能出现jar包冲突的情况。 常见的jar包冲突报错有: 1、报错类找不到:java