检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
igData/data1/impala:100GB HDFS存储开启短路读 HDFS存储场景下可开启短路读,提升读取速率,具体请参考:https://impala.apache.org/docs/build/html/topics/impala_config_performance
/bin/kafka-balancer.sh --clean --zookeeper <ZooKeeper的任意一个节点的业务IP:zkPort/kafka> 一般在迁移没有正常执行完成时用来清理ZooKeeper上的中间状态信息。 Kafka集群IP端口号安全模式下是21007,普通模式下是9092。 异常情况处理
ProxyServer服务首先确认是否有该租户的JDBCServer存在,如果有,直接将Beeline连上真正的JDBCServer;如果没有,则以YARN-Cluster模式启动一个新的JDBCServer。JDBCServer启动成功后,ProxyServer会获取JDBCS
security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。
值为false。 若接口值为true,则代表sparkContext已完全stop。 若接口值为false,则代表sparkContext没有完成stop。 例如:用户根据 sc.isSparkContextDown.get() == true 可判断sparkContext已完全stop。
security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。
负担起退服节点的Region。 Storm/ Supervisor 规则:缩容后集群slot数足够运行当前已提交的任务。 原因:防止缩容后没有充足的资源运行流处理任务。 Flume/FlumeServer 规则:节点安装了FlumeServer,并且已经配置了Flume任务,则该节点不能删除。
security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。
值为false。 若接口值为true,则代表sparkContext已完全stop。 若接口值为false,则代表sparkContext没有完成stop。 例如:用户根据jsc.sc().isSparkContextDown().get() == true 可判断sparkContext已完全stop。
值为false。 若接口值为true,则代表sparkContext已完全stop。 若接口值为false,则代表sparkContext没有完成stop。 例如:用户根据 sc.isSparkContextDown.get() == true 可判断sparkContext已完全stop。
备集群白名单功能,只接受指定集群IP的数据推送。 开源版本中replication是基于WAL同步,在备集群回放WAL实现数据备份的。对于BulkLoad,由于没有WAL产生,BulkLoad的数据不会replicate到备集群。通过将BulkLoad操作记录在WAL上,同步至备集群,备集群通过WAL
若创建MRS集群时暂未绑定弹性公网IP,在“弹性公网IP”下拉框中选择可用的弹性公网IP。若用户创建集群时已经绑定弹性公网IP,直接执行3.b。 如果没有弹性公网IP,可先单击“管理弹性公网IP”购买弹性公网IP后,然后在弹性公网IP下拉框中选择购买的弹性公网IP。 如果在使用完后需要解绑或
值为false。 若接口值为true,则代表sparkContext已完全stop。 若接口值为false,则代表sparkContext没有完成stop。 例如:用户根据 jsc.sc().isSparkContextDown().get() == true 可判断sparkContext已完全stop。
值为false。 若接口值为true,则代表sparkContext已完全stop。 若接口值为false,则代表sparkContext没有完成stop。 例如:用户根据 sc.isSparkContextDown.get() == true 可判断sparkContext已完全stop。
值为false。 若接口值为true,则代表sparkContext已完全stop。 若接口值为false,则代表sparkContext没有完成stop。 例如:用户根据 sc.isSparkContextDown.get() == true 可判断sparkContext已完全stop。
的操作列的“更多 > 登录”,以root用户登录该实例。 图4 登录RDS实例 在实例“首页”即可单击“新建数据库”创建新的数据库。 如果没有创建新的数据库,会导致MRS配置数据连接失败。 图5 新建数据库 在页面顶部选择“账号管理 > 用户管理”。 对于MRS 3.x之前版本,
可以在Job的Overview选项卡后面查看BackPressure,如下图表示采样进行中,默认情况下,大约需要5秒完成采样。 图1 采样进行中 如下图显示“OK”表示没有反压,“HIGH”表示对应SubTask被反压。 图2 无反压状态 图3 反压状态 使用Hive SQL时如果Flink语法不兼容则可切换Hive方言
么该行将被视为注释,并且不会被加载。默认值为#。 OPTIONS('COMMENTCHAR'='#') FILEHEADER:如果源文件中没有表头,可在LOAD DATA命令中提供表头。 OPTIONS('FILEHEADER'='column1,column2') ESCAPE
值为false。 若接口值为true,则代表sparkContext已完全stop。 若接口值为false,则代表sparkContext没有完成stop。 例如:用户根据 jsc.sc().isSparkContextDown().get() == true 可判断sparkContext已完全stop。
security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。