检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
含300节点),每个批次1%(向下取整)个节点。 批次时间间隔 10 滚动重启实例批次之间的间隔时间,默认为0。 设置批次时间间隔参数可以增加滚动重启期间大数据组件进程的稳定性。 建议设置该参数为非默认值,例如10。 退服超时时间 1800 角色实例在滚动重启过程中的退服等待时间
值进行调整。 保存配置并重启受影响的服务或者实例。 如调整后问题仍未解决,请根据业务情况调整HiveServer的GC参数至合理的值。 父主题: 使用Hive
statement) { statement.close(); } } } 父主题: Hive JDBC访问样例程序
执行以下查询hot data和cold data的存储路径。 select name, partition, active, path from system.parts where database = '数据库名' and table= '表名' and active = 1; 图10 冷热数据查询结果
_jvm.HBaseSource().execute(spark._jsc) # 停止SparkSession spark.stop() 父主题: Spark读取HBase表样例程序
sqlContext.sql("select name, account from person"); // 遍历hive表中的每一个partition, 然后更新到hbase表 // 如果数据条数较少,也可以使用foreach()方法 dataFrame.toJavaRDD()
info("Inert all batch time is {} ms", allBatchEnd - allBatchBegin); 父主题: 开发ClickHouse应用
ecution/{sql_id} mrs:sql:get √ √ 相关链接 MRS权限管理 创建用户并授权使用MRS MRS自定义策略 父主题: 权限策略和授权项
Spark同时访问两个HBase样例程序 Spark同步HBase数据到CarbonData样例程序 使用Spark执行Hudi样例程序 Hudi自定义配置项样例程序 父主题: Spark2x开发指南(安全模式)
Flink滑动窗口增强 Flink Job Pipeline增强 Flink Stream SQL Join增强 Flink CEP in SQL增强 父主题: 组件介绍
运行SparkSubmit作业 运行HiveSql作业 运行SparkSql作业 运行Flink作业 运行HadoopStream作业 父主题: 提交MRS作业
RS集群组件配置参数进行集群组件配置参数的修改。 如需添加多个参数,请单击右侧的“添加”按钮。 例如作业需要通过AK/SK方式访问OBS,增加以下服务配置参数: fs.obs.access.key:访问OBS的密钥ID。 fs.obs.secret.key:访问OBS与密钥ID对应的密钥。
error("Put failed.", e); } LOG.info("Exiting testPut."); } 父主题: HBase数据读写样例程序
statement) { statement.close(); } } } 父主题: Hive JDBC访问样例程序
{ System.out.println(e.getMessage()); } } } 父主题: 配置IoTDB应用安全认证
Multiplexing类型的Selector的样例中,选择Event中Header名称为topic的字段来进行判断,当Header中topic字段的值为topic1时,向channel1发送该Event,当Header中topic字段的值为topic2时,向channel2发送该Event。 这种Select
_jvm.AvroSource().execute(spark._jsc) # 停止SparkSession spark.stop() 父主题: Spark读取HBase表样例程序
sqlContext.sql("select name, account from person"); // 遍历hive表中的每一个partition, 然后更新到hbase表 // 如果数据条数较少,也可以使用foreach()方法 final String zkQuorum
printStackTrace(); } finally { releaseConnection(); } } 父主题: 开发Presto应用
修改完成后,保存配置,重启Hive组件。 重新在Hive Beeline命令行中执行set mapred.max.split.size=1000000;。 父主题: 使用Spark