正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
B。当执行一个很复杂的SQL语句时,例如有多层语句嵌套,且单层语句中对字段有大量的逻辑处理(如多层嵌套的case when语句),这种情况下,通过codegen生成的Java代码中函数的大小就可能会超过64KB,从而导致编译失败。 规避措施: 当出现上述问题时,用户可以通过关闭钨
执行复杂SQL语句时报“Code of method ... grows beyond 64 KB”的错误 在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 连上不同的JDBCServer,function不能正常使用 用add jar方式创建function,执行drop
yarn-client运行框架 Spark on yarn-client实现流程: 在yarn-client模式下,Driver部署在Client端,在Client端启动。yarn-client模式下,不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceMana
yarn-client运行框架 Spark on YARN-Client实现流程: 在YARN-Client模式下,Driver部署在Client端,在Client端启动。YARN-Client模式下,不兼容老版本的客户端。推荐使用YARN-Cluster模式。 客户端向ResourceMana
Filter操作之后结果集小于BroadCast的阈值,在没有CBO情况下是无法感知大表过滤后变小的情况,采用的是SortMergeJoin算法,涉及到大量Shuffle操作,很耗费性能;在有CBO的情况下是可以感知到结果集的变化,采用的是BroadcastHashJoin算法,
1.2 修复问题列表: MRS Manager MRS Manager单击审计日志详细信息下载报错。 MRS Manager界面中主机列表下的磁盘使用率计算优化。 MRS 1.7.1.1 修复问题列表: Kafka组件问题 KAFKA-5413 Kafka日志清理失败:segment文件offset跨度过大。
用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接Kafka集群配置文件 配置并导入样例工程 Kafka提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 导入并配置Kafka样例工程 根据业务场景开发工程 提供了Producer和Consumer相
流程运行期间的参数配置文件,对应文件名为“job.properties”,每个流程定义有且仅有一个该属性文件。 keytab文件 存放用户信息的密钥文件。在安全模式下,应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web
认推荐配置为1:4~1:8。 针对bucket表的写入资源配置,建议给的CPU核心数量不小于桶数目 (分区表每次可能写入多个分区,理想情况下建议给的CPU核心数量=写入分区*分桶数;实际配置的core小于这个值,写入性能线性下降)。 示例: 当前表bucket数为3,同时写入分区数为2,
任务时间超过预期,当资源组排队数超过该组最大排队数(maxQueued)时,会导致新的任务无法执行。 可能原因 资源组配置不合理或该资源组下提交的任务过多。 处理步骤 选择“集群 > 待操作集群的名称 > 服务 > Presto > 配置 > 全部配置”,修改“resource-
们的键缩小键/值对列表。MapReduce起到了将大事务分散到不同设备处理的能力,这样原来必须用单台较强服务器才能运行的任务,在分布式环境下也能完成。 更多信息,请参阅MapReduce教程。 MapReduce结构 如图2所示,MapReduce通过实现YARN的Client和
ner一直运行,并且持续产生日志;Spark的executor在打印日志的时候使用了log4j的日志滚动功能,将日志输出到stdout文件下;而Container同时也会监控这个文件,导致此文件被两个进程同时监控。当其中一个进程按照配置滚动的时候,删除了最早的日志文件,但是另一个
执行复杂SQL语句时报“Code of method ... grows beyond 64 KB”的错误 在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 连上不同的JDBCServer,function不能正常使用 用add jar方式创建function,执行drop
B。当执行一个很复杂的SQL语句时,例如有多层语句嵌套,且单层语句中对字段有大量的逻辑处理(如多层嵌套的case when语句),这种情况下,通过codegen生成的Java代码中函数的大小就可能会超过64KB,从而导致编译失败。 规避措施: 当出现上述问题时,用户可以通过关闭钨
NSTANCE_IP”变量查看。 “priority_network”主要用于帮助系统选择正确的网卡IP作为FE或BE的IP,建议任何情况下,都显式的设置该参数,避免后续机器增加新网卡导致IP选择不正确问题。“priority_network”的值是CIDR格式表示的,用于保证所
n server的WAL分割,以避免数据不一致问题。一旦WAL分割完成,HMaster将进行用户region的分配。所以当在集群异常的场景下,WAL分割可能需要很长时间,这取决于多个因素,例如太多的WALs,较慢的I/O,region servers不稳定等。 为确保HMaster能够成功完成所有region
任务时间超过预期,当资源组排队数超过该组最大排队数(maxQueued)时,会导致新的任务无法执行。 可能原因 资源组配置不合理或该资源组下提交的任务过多。 处理步骤 用户可通过“组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”) >Presto > r
List<String> measurements, List<String> values) 插入一个Record,一个Record是一个设备一个时间戳下多个测点的数据。服务器需要做类型推断,可能会有额外耗时。 void insertTablet(Tablet tablet) 插入一个Tabl
List<String> measurements, List<String> values) 插入一个Record,一个Record是一个设备一个时间戳下多个测点的数据。服务器需要做类型推断,可能会有额外耗时。 void insertTablet(Tablet tablet) 插入一个Tabl
Hive/component_env 查看文件系统mrs-demo01下面的文件列表。 hadoop fs -ls obs://mrs-demo01/ 返回文件列表即表示访问OBS成功。 图5 查看mrs-demo01下的文件列表 执行以下命令进行用户认证(普通模式即未开启Kerberos认证无需执行此步骤)。