检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t<tuple,Time>的方式来表示,tuple是元组,包含了数据结构和数据内容,Time就是该数据的逻辑时间。 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在组件中进行API方式认证。 父主题: Storm应用开发概述
性申请executor,因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据,运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。
自定义Flink log4j日志输出级别不生效 用户问题 MRS 3.1.0集群自定义Flink log4j日志级别不生效。 问题现象 在使用MRS 3.1.0集群Flink数据分析时,将“$Flink_HOME/conf”目录下的“log4j.properties”文件中日志级别修改为INFO级别日志。
性申请executor,因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据,运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。
t<tuple,Time>的方式来表示,tuple是元组,包含了数据结构和数据内容,Time就是该数据的逻辑时间。 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。 父主题: Storm应用开发概述
_medium”默认为HDD,因此建表时会发现没有HDD介质的存储而报错。Doris并不会自动感知存储路径所在磁盘的实际存储介质类型,需要用户在路径配置中显式的表示。“.HDD”和“.SSD”只是用于标识存储目录“相对”的“低速”和“高速”之分,而并不是标识实际的存储介质类型,所
侧代码无需特殊修改,简单易用。 MRS 3.3.0及之后版本的集群默认启用HBase全局二级索引功能,如果需要修改全局二级索引相关参数,需登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置 > 全部配置”,在“RegionServer(角色)
cluster_admin_secret 否 String 参数解释: 配置MRS Manager管理员用户的密码。 约束限制: 不涉及 取值范围: 密码长度应在8~26个字符之间 不能与用户名或者倒序用户名相同 必须包含如下4种字符的组合 至少一个小写字母 至少一个大写字母 至少一个数字 至少一个特殊字符:
segments. <database_name>. <table_name> = < list of segment ids >” 如果用户想在多线程模式下查询指定段,可使用CarbonSession.threadSet代替SET语句。 语法: “CarbonSession.threadSet
pattern, function) → varchar 描述:使用function替换与字符串中的正则表达式模式匹配的子字符串的每个实例。对于每个匹配,以数组形式传递的捕获组都会调用lambda表达式函数。捕获组号从1开始;整个匹配没有分组(如果需要,请用括号将整个表达式括起来)。
HDFS主备倒换运行日志。 hdfs-router-admin.log 管理挂载表操作的运行日志。 threadDump-<DATE>.log 实例进程堆栈日志。 Tomcat日志 hadoop-omm-host1.out,httpfs-catalina.<DATE>.log,httpfs-host-manager
不能再使用相对路径来操作文件,而要使用绝对路径,并且保证所有的HiveServer节点和NodeManager节点上该文件是存在的且omm用户对该文件有相应的权限,才能正常在UDF中操作本地文件。 父主题: Hive常见问题
不能再使用相对路径来操作文件,而要使用绝对路径,并且保证所有的HiveServer节点和NodeManager节点上该文件是存在的且omm用户对该文件有相应的权限,才能正常在UDF中操作本地文件。 父主题: Hive常见问题
segments. <database_name>. <table_name> = < list of segment ids >” 如果用户想在多线程模式下查询指定段,可使用CarbonSession.threadSet代替SET语句。 语法: “CarbonSession.threadSet
mapreduce.input.fileinputformat.split.maxsize map输入信息应被拆分成的数据块的最大大小。 由用户定义的分片大小的设置及每个文件block大小的设置,可以计算分片的大小。计算公式如下: splitSize = Math.max(minSize
点。增加任务的并行度,充分利用集群机器的计算能力,一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。 testRDD
常见的场景是使用--files上传了user.keytab,然后使用--keytab又指定了同一个文件,导致一个文件多次被上传。 处理步骤 问题1: 重新kinit一个用户并修改相应的配置参数。 问题2: 查看hadoop相关的配置项是否正确,查看spark的conf目录下的core-site.xml,hdfs-site
HDFS主备倒换运行日志。 hdfs-router-admin.log 管理挂载表操作的运行日志。 threadDump-<DATE>.log 实例进程堆栈日志。 Tomcat日志 hadoop-omm-host1.out,httpfs-catalina.<DATE>.log,httpfs-host-manager
点。增加任务的并行度,充分利用集群机器的计算能力,一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。 testRDD
TBLPROPERTIES('SORT_COLUMNS'='column1') 在执行该命令后,新的导入会使用新的SORT_COLUMNS配置值。 用户可以根据查询的情况来调整SORT_COLUMNS,但是不会直接影响旧的数据。所以对历史的segments的查询性能不会受到影响,因为历史的