检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
点。增加任务的并行度,充分利用集群机器的计算能力,一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。 testRDD
点。增加任务的并行度,充分利用集群机器的计算能力,一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。 testRDD
over inner join、aggregate over union all等。为应对不同应用场景的特殊需求,对所有下推模块设计开关功能,用户可以自行配置是否应用上述查询下推的增强。 表1 跨源查询增加特性对比 模块 增强前 增强后 aggregate 不支持aggregate下推
block大小。 put适合的场景: 每次加载到单个Region的数据大小小于HDFS block大小的一半。 数据需要实时加载。 加载数据过程不会造成用户查询速度急剧下降。 父主题: HBase应用开发常见问题
TBLPROPERTIES('SORT_COLUMNS'='column1') 在执行该命令后,新的导入会使用新的SORT_COLUMNS配置值。 用户可以根据查询的情况来调整SORT_COLUMNS,但是不会直接影响旧的数据。所以对历史的segments的查询性能不会受到影响,因为历史的
libsasl2.so.3 (libc6) => /usr/lib/libsasl2.so.3 如果仅存在3.x版本,需要执行如下命令创建软链接 ln -s /usr/lib64/libsasl2.so.3.0.0 /usr/lib64/libsasl2.so.2 父主题: 调测Hive应用
pattern, function) → varchar 描述:使用function替换与字符串中的正则表达式模式匹配的子字符串的每个实例。对于每个匹配,以数组形式传递的捕获组都会调用lambda表达式函数。捕获组号从1开始;整个匹配没有分组(如果需要,请用括号将整个表达式括起来)。
HDFS主备倒换运行日志。 hdfs-router-admin.log 管理挂载表操作的运行日志。 threadDump-<DATE>.log 实例进程堆栈日志。 Tomcat日志 hadoop-omm-host1.out,httpfs-catalina.<DATE>.log,httpfs-host-manager
TBLPROPERTIES('SORT_COLUMNS'='column1') 在执行该命令后,新的导入会使用新的SORT_COLUMNS配置值。 用户可以根据查询的情况来调整SORT_COLUMNS,但是不会直接影响旧的数据。所以对历史的segments的查询性能不会受到影响,因为历史的
block大小。 put适合的场景: 每次加载到单个Region的数据大小小于HDFS block大小的一半。 数据需要实时加载。 加载数据过程不会造成用户查询速度急剧下降。 父主题: HBase应用开发常见问题
block大小。 put适合的场景: 每次加载到单个Region的数据大小小于HDFS block大小的一半。 数据需要实时加载。 加载数据过程不会造成用户查询速度急剧下降。 父主题: HBase应用开发常见问题
block大小。 put适合的场景: 每次加载到单个Region的数据大小小于HDFS block大小的一半。 数据需要实时加载。 加载数据过程不会造成用户查询速度急剧下降。 父主题: HBase应用开发常见问题
spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令,并且原数据和目标表存储位置不是同一套文件系统,上述两种方式MapReduce任务启动时会报错。
点。增加任务的并行度,充分利用集群机器的计算能力,一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。 testRDD
over inner join、aggregate over union all等。为应对不同应用场景的特殊需求,对所有下推模块设计开关功能,用户可以自行配置是否应用上述查询下推的增强。 表1 跨源查询增加特性对比 模块 增强前 增强后 aggregate 不支持aggregate下推
server会定期向master发送心跳。 kudu kudu的管理工具,可以用来检查集群的健康状况、日常运维等操作。 keytab文件 存放用户信息的密钥文件,应用程序采用此密钥文件在组件中进行API方式认证。 Schema 表信息,用来表示表中列的信息。 父主题: Kudu应用开发概述
令行中加入表1中的参数。 表1 增强BulkLoad效率的配置项 参数 描述 配置的值 -Dimporttsv.mapper.class 用户自定义mapper通过把键值对的构造从mapper移动到reducer以提高性能。mapper只需要把每一行的原始文本发送到reducer
处理步骤 如果GLIBC版本太低,则需要使用含有较高版本的(此处为2.12)的文件替换掉"libpthread-*.so"(注意,这是一个链接文件,执行时只需要替换掉它所指向的文件即可)。 参考信息 无 父主题: Flink应用开发常见问题
处理步骤 如果GLIBC版本太低,则需要使用含有较高版本的(此处为2.12)的文件替换掉"libpthread-*.so"(注意,这是一个链接文件,执行时只需要替换掉它所指向的文件即可)。 参考信息 无 父主题: Flink应用开发常见问题
处理步骤 如果GLIBC版本太低,则需要使用含有较高版本的(此处为2.12)的文件替换掉"libpthread-*.so"(注意,这是一个链接文件,执行时只需要替换掉它所指向的文件即可)。 参考信息 无 父主题: Flink应用开发常见问题