检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行复杂SQL语句时报“Code of method ... grows beyond 64 KB”的错误 在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 连上不同的JDBCServer,function不能正常使用 用add jar方式创建function,执行drop
ResourceManager每分钟的垃圾回收(GC)所占用的时间。 12000ms 其他 root队列下失败的任务数 root队列下失败的任务数。 50 root队列下被杀死的任务数 root队列下被杀死的任务数。 50 CPU和内存 挂起的内存量 挂起的内存量。 83886080MB 任务
amLoad、BrokerLoad、SparkLoad或者Flink Connector方式。 在Flink实时写入数据到Doris的场景下,CheckPoint设置的时间需要考虑每批次数据量,如果每批次数据太小会造成大量小文件,推荐值为60s。 建议不使用insert valu
任务时间超过预期,当资源组排队数超过该组最大排队数(maxQueued)时,会导致新的任务无法执行。 可能原因 资源组配置不合理或该资源组下提交的任务过多。 处理步骤 用户可通过“组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”) >Presto > r
Hive/component_env 查看文件系统mrs-demo01下面的文件列表。 hadoop fs -ls obs://mrs-demo01/ 返回文件列表即表示访问OBS成功。 图5 查看mrs-demo01下的文件列表 执行以下命令进行用户认证(普通模式即未开启Kerberos认证无需执行此步骤)。
List<String> measurements, List<String> values) 插入一个Record,一个Record是一个设备一个时间戳下多个测点的数据。服务器需要做类型推断,可能会有额外耗时。 void insertTablet(Tablet tablet) 插入一个Tabl
ENGINE = engine_name AS SELECT ... 使用示例 --在default数据库和default_cluster集群下创建名为test表 CREATE TABLE default.test ON CLUSTER default_cluster ( `EventDate`
NSTANCE_IP”变量查看。 “priority_network”主要用于帮助系统选择正确的网卡IP作为FE或BE的IP,建议任何情况下,都显式的设置该参数,避免后续机器增加新网卡导致IP选择不正确问题。“priority_network”的值是CIDR格式表示的,用于保证所
n server的WAL分割,以避免数据不一致问题。一旦WAL分割完成,HMaster将进行用户region的分配。所以当在集群异常的场景下,WAL分割可能需要很长时间,这取决于多个因素,例如太多的WALs,较慢的I/O,region servers不稳定等。 为确保HMaster能够成功完成所有region
任务时间超过预期,当资源组排队数超过该组最大排队数(maxQueued)时,会导致新的任务无法执行。 可能原因 资源组配置不合理或该资源组下提交的任务过多。 处理步骤 用户可通过“组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”) >Presto > r
yarn-client运行框架 Spark on yarn-client实现流程: 在yarn-client模式下,Driver部署在Client端,在Client端启动。yarn-client模式下,不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceMana
numbers LIMIT 100000000; 【查询明细表】 【查询物化视图】 【效果对比】 使用物化视图后,遍历的数据量从1亿下降到2000,耗时从0.211秒下降到0.002秒,性能提升100倍。 使用bitmap做跨表预估计算。 【场景】 用户画像,用户数预估:计算t_r_309和t_r_308
n server的WAL分割,以避免数据不一致问题。一旦WAL分割完成,HMaster将进行用户region的分配。所以当在集群异常的场景下,WAL分割可能需要很长时间,这取决于多个因素,例如太多的WALs,较慢的I/O,region servers不稳定等。 为确保HMaster能够成功完成所有region
名、表字段、分区信息、权限信息等)缓存起来,后续访问时不需要再次访问Hive metastore,在Hive数据源的表数据变化不频繁的场景下,可以一定程度上提升查询的性能。 调整HetuEngine元数据缓存步骤 使用HetuEngine管理员用户登录FusionInsight Manager页面,选择“集群
执行加密操作时,会自动重启Controller和所有Agent,重启期间会造成FusionInsight Manager暂时中断。 大集群下会导致管理节点性能有所下降,建议集群不超过200节点时开启该功能。 前提条件 已确认主备管理节点IP。 配置Controller与Agent间数据传输加密
Hive支持使用Spark作为执行引擎,当执行引擎切换为Spark后,客户端下发的Hive SQL在Hive端进行逻辑层处理和生成物理执行计划,并将执行计划转换成RDD语义下的DAG,最后将DAG作为Spark的任务提交到Spark集群上进行计算,并合理利用Spark分布式内存计算能力,提高了Hive查询效率。 父主题:
1,Streaming使用的是0.10.0。Streaming组件一般用来在升级场景继承过渡业务,比如之前版本已经部署Streaming并且有业务在运行的情况下,升级后仍然可以使用Streaming。如果是新搭建的集群,则建议使用Storm。 Storm 1.2.1新增特性说明: 分布式缓存:提供命
utor上也运行失败,导致运行失败的Executor加入到黑名单,没有可用的Executor,应用退出。 修改方案: 在Spark使用场景下,需设置“dfs.namenode.delegation.token.renew-interval”大于80秒。“dfs.namenode.delegation
延迟不再成为瓶颈。 更好地计算资源利用:将数据压缩,序列化的任务下推到Worker并行计算。 高效序列化:优化数据序列化格式,同等数据量级下,更低的数据传输量。 流式传输:基于HTTP 2.0 stream, 保证HTTP协议通用性的同时,减少大量数据传输中RPC 重复调用。 断
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 老年代GC时间超出阈值,会影响HBase数据的读写变慢,严重情况下,会出现请求超时。 可能原因 该节点HBase实例内存使用率过大,或配置的堆内存不合理,或HBase存在大量的IO操作,导致进程GC频繁。 处理步骤