检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
阈值设置 > meta > OBS的read接口调用失败总数”,将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是,处理完毕。 否,执行3。 联系OBS运维人员查看OBS服务是否正常。 是,执行4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。 在FusionInsight
执行8。 “上传到OBS”:表示将日志保存到OBS中。默认值。然后执行5。 在“OBS路径”填写服务日志在OBS保存的路径。 需要填写完整路径且不能以“/”开头,路径可以不存在,系统将自动创建。OBS的完整路径最大支持900个字节。 在“桶名”输入已创建的OBS文件系统名称。 在
Thread.run(Thread.java:748) 回答 上述问题可能是因为网络内存枯竭而导致的。 问题的解决方案是根据实际场景适当增大网络设备的阈值级别。 例如: [root@xxxxx ~]# cat /proc/sys/net/ipv4/neigh/default/gc_thresh*
HetuEngine等服务提供访问OBS的临时认证凭据的服务,只有对接OBS的场景下才需要安装Guardian组件。Guardian的典型特性包括: 提供获取访问OBS的临时认证凭据的能力。 提供访问OBS的细粒度权限控制的能力。 提供访问OBS的临时认证凭据的统一缓存刷新能力。
nfig/HDFS/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数,建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
Shell命令执行方法: 进入HBase客户端任意目录,执行以下命令。 hbase shell 进入HBase命令行运行模式(也称为CLI客户端连接),如下所示。 hbase(main):001:0> 您可以在命令行运行模式中运行help命令获取HBase的命令参数的帮助信息。 注意事项
Shell命令执行方法: 进入HBase客户端任意目录,执行以下命令。 hbase shell 进入HBase命令行运行模式(也称为CLI客户端连接),如下所示。 hbase(main):001:0> 您可以在命令行运行模式中运行help命令获取HBase的命令参数的帮助信息。 注意事项
SparkStreaming作业运行后报OBS访问403如何处理? 问: SparkStreaming作业运行几十个小时后失败,报OBS访问403如何处理? 答: 当用户提交作业需要读写OBS时,提交作业程序会默认为用户添加访问OBS的临时accesskey和secretkey,
否,执行3。 联系OBS运维人员查看OBS服务是否正常。 是,执行4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。 登录FusionInsight Manager界面,选择“集群 > 服务 > meta > 图表”,在“图表分类”选择“OBS流控”,在“OBS操作被流控次
Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗? 回答 Hive存储在OBS上的普通表,支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分
e字段为String类型。 HQL编写之对象名称长度 HQL的对象名称,包括表名、字段名、视图名、索引名等,其长度建议不要超过30个字节。 Oracle中任何对象名称长度不允许超过30个字节,超过时会报错。PT为了兼容Oracle,对对象的名称进行了限制,不允许超过30个字节。 太长不利于阅读、维护、移植。
on HBase功能,需要重新下载并安装Spark2x客户端。 在Spark2x客户端使用spark-sql或者spark-beeline连接,可以查询由Hive on HBase所创建的表,支持通过SQL命令创建HBase表或创建外表关联HBase表。建表前,确认HBase中已存在对应
置参数统一由HDFS控制。 例如HDFS参数“ipc.client.rpc.timeout”影响所有客户端连接HDFS服务端的RPC超时时间,如果用户需要单独修改Hive连接HDFS的超时时间,可以使用自定义配置项功能进行设置。在Hive的“core-site.xml”文件增加此
待创建的表的名称。该表用于加载数据进行分析。 表名由字母、数字、下划线组成。 productdb 数据库名称。该数据库将与其中的表保持逻辑连接以便于识别和管理。 数据库名称由字母、数字、下划线组成。 productNumber productName storeCity storeProvince
Shell命令执行方法: 进入HBase客户端任意目录,执行以下命令。 hbase shell 进入HBase命令行运行模式(也称为CLI客户端连接),如下所示。 hbase(main):001:0> 您可以在命令行运行模式中运行help命令获取HBase的命令参数的帮助信息。 注意事项
合并后的每个文件大小目标大小。 256MB spark.sql.mergeSmallFiles.moveParallelism 当不需要合并小文件后时,将临时文件移动到最终目录的并行度。 10000 父主题: Spark Core企业级能力增强
灵活的数据存储格式,支持JSON、CSV、TEXTFILE、RCFILE、ORCFILE、SEQUENCEFILE等存储格式,并支持自定义扩展。 多种客户端连接方式,支持JDBC接口。 Hive的主要应用于海量数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景下。
Shell命令执行方法: 进入HBase客户端任意目录,执行以下命令。 hbase shell 进入HBase命令行运行模式(也称为CLI客户端连接),如下所示。 hbase(main):001:0> 您可以在命令行运行模式中运行help命令获取HBase的命令参数的帮助信息。 注意事项
Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗? 回答 Hive存储在OBS上的普通表,支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS元数据接口调用平均时间超过阈值,会影响上层大数据计算业务的性能,导致某些计算任务的执行时间超过阈值。 可能原因 OBS服务端出现卡顿,或OBS客户端到OBS服务端之间的网络不稳定。 处理步骤 检查堆内存使用率。 在FusionInsight