检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
skip_bootstrap_scripts 否 Boolean 参数解释: 扩容时是否在新增节点上跳过执行创建集群时指定的引导操作。 约束限制: 不涉及 取值范围: true:跳过执行创建集群时指定的引导操作。 false:不跳过执行创建集群时指定的引导操作。 默认取值: true scale_without_start
使用Hue提交Oozie作业 使用Hue创建工作流 使用Hue提交Oozie Hive2作业 使用Hue提交Oozie HQL脚本 使用Hue提交Oozie Spark2x作业 使用Hue提交Oozie Java作业 使用Hue提交Oozie Loader作业 使用Hue提交Oozie
getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
parallel=false; 方法三:set hive.auto.convert.join=false; Hive on Tez执行Bucket表Join报错:NullPointerException at org.apache.hadoop.hive.ql.exec.CommonMergeJoinOperator
retainedStages”参数。详细信息请参考Spark常用配置参数中的表13。 如果需要保留的Job和Stage的UI数据个数较多,可通过配置“spark.driver.memory”参数,适当增大Driver的内存。详细信息请参考Spark常用配置参数中的表10。 父主题: SQL和DataFrame
distinct.expandThreshold 由cube等引起的数据膨胀多少倍时,触发该优化。需要配置一个大于0的数值来启用。例如1024,代表数据膨胀1024倍及以上时,触发该优化。 -1 spark.sql.distinct.aggregator.enabled 是否强制开启di
n失败 如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink Web 如何查看System.out
使用Hue Hue界面中查看到未知Job在运行 使用IE浏览器在Hue中执行HQL失败 Hue WebUI界面访问失败 Hue界面无法加载HBase表 Hue中的输入框输入中文会出现混乱 Hue上执行Impala SQL查询中文报错
parallel=false; 方法三:set hive.auto.convert.join=false; Hive on Tez执行Bucket表Join报错:NullPointerException at org.apache.hadoop.hive.ql.exec.CommonMergeJoinOperator
public void doWork() { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(waitTime));
python-devel cyrus-sasl-devel krb5-devel 由于安装krb5-devel后,krb5-config不在PATH目录下,需要创建软链接: ln -s /usr/lib/mit/bin/krb5-config /usr/bin/krb5-config pip install
login也无法得到刷新。 解决措施: 通常情况下,在发现JDBC connection不可用的时候,可以关闭该connection,重新创建一个connection继续执行。 父主题: Spark应用开发常见问题
login也无法得到刷新。 解决措施: 通常情况下,在发现JDBC connection不可用的时候,可以关闭该connection,重新创建一个connection继续执行。 父主题: Spark应用开发常见问题
0000000000; #20G set max_memory_usage=40000000000; #40G 如果客户数据量大,而且是全表查询,建议按照分区进行查询或者进行升级集群core节点的规格。 父主题: 客户端使用类
Hudi TTL语法说明 Hudi TTL简介 初始化存量表的分区 开启/关闭TTL 管理TTL策略 手动立即执行TTL 父主题: Hudi SQL语法参考
Combine output records=6 Reduce input groups=3 Reduce shuffle bytes=114 Reduce input records=6 Reduce output records=2 Spilled Records=12 Shuffled Maps
开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark Stre
作业管理接口 新增并执行作业 查询作业列表信息 查询单个作业信息 终止作业 获取SQL结果 批量删除作业 父主题: API V2