检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并运行调测自己的应用程序。 开发指南 获取MRS二次开发样例工程 通过Flink分析网页停留时间 通过HBase管理企业用户信息 HDFS文件操作 Hive数据分析应用 Impala应用开发 Kafka消息发布及订阅 Kudu应用开发 MapReduce应用开发 Oozie离线分析网站日志
改变过优先级的进程占CPU的百分比 用户空间占用CPU百分比 内核空间占用CPU百分比 主机CPU使用率 CPU总时间 CPU闲置时间 主机状态 主机文件句柄使用率 每1分钟系统平均负载 每5分钟系统平均负载 每15分钟系统平均负载 主机PID使用率 单击“趋势”查看趋势信息。 可查看集群的
进入目录“/opt/Bigdata/apache-tomcat-7.0.78/webapps/web/WEB-INF/lib/components/Kafka/”。 cd /opt/Bigdata/apache-tomcat-7.0.78/webapps/web/WEB-INF/lib/components/Kafka/
弹性伸缩:根据业务数据量的变化动态调整集群节点数量以增减资源,请参见配置弹性伸缩规则。 在创建集群时,Task节点只配置了弹性伸缩的取值范围,而没有配置实例数量时,当前不会产生实际费用。如果客户配置了实例数量,则产品报价会在浏览器下方即时显示。当满足弹性伸缩条件时,扩缩容节点后会影响实际费用。
与ZooKeeper服务端的session(0x164cb2b3e4b36ae4)不一致的问题,导致NameNode备节点的watcher没有感知到自己已经成功建立临时节点,依然认为自己还是备。 而NameNode主节点启动后,发现/hadoop-ha/hacluster目录下已
与ZooKeeper服务端的session(0x164cb2b3e4b36ae4)不一致的问题,导致NameNode备节点的watcher没有感知到自己已经成功建立临时节点,依然认为自己还是备。 而NameNode主节点启动后,发现/hadoop-ha/hacluster目录下已
PARTITIONED BY(p1 string) STORED AS orc tblproperties('orc.compress'='SNAPPY'); 修改表结构,添加分区并插入数据 alter table test_table add partition(p1='a'); insert
Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址: https://kudu.apache.org/apidocs。 父主题: Kudu开发指南(安全模式)
Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址: https://kudu.apache.org/apidocs。 父主题: Kudu开发指南(普通模式)
标签共由两部分组成:“标签键”和“标签值”,其中,“标签键”和“标签值”的命名规则如表1所示。 表1 标签命名规则 参数 规则 样例 标签键 不能为空。 对于同一个集群,Key值唯一。 长度不超过128个字符。 不能包含“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/”,且首尾字符不能为空格。 Organization
String createDatabaseSql = "create database if not exists " + dbName; public static void execDDL(Connection connection, String sql) throws Exception
创建Hudi表对应的Hive外部表 Hudi表数据在入湖的时候一般会同步到Hive外部表,此时在Beeline中可以直接查询到对应的Hive外部表,如果没有同步到Hive外部表,则可以通过Hudi客户端工具手动同步,具体步骤可参考将Hudi表数据同步到Hive。 查询Hudi表对应的Hive外部表
MRS集群中的用户管理由LDAP服务管理提供,又依赖于操作系统的sssd或nscd服务,用户的建立到同步到sssd服务需要一定时间,如果此时用户没有生效,或者sssd版本存在bug的情况下,某些情况下在ZooKeeper节点会出现用户无效的情况,导致创建Topic异常。 解决办法 重启sssd/nscd服务。
String createDatabaseSql = "create database if not exists " + dbName; public static void execDDL(Connection connection, String sql) throws Exception
ldap”、“aliases: files ldap”。 是,执行7。 否,执行9。 用root用户登录故障节点,执行cat /etc/nscd.conf命令,查看配置文件中“enable-cache passwd”、“positive-time-to-live passwd”、“enable-cache g
presto-examples/conf/presto.properties * should be set. More details please refer to https://prestodb.io/docs/0.215/installation/jdbc.html. */ private static void
Presto接口介绍如下: Presto JDBC接口遵循标准的JAVA JDBC驱动标准,详情请参见JDK1.7 API。 Presto JDBC使用参见https://prestodb.io/docs/current/installation/jdbc.html。 父主题: Presto应用开发常见问题
resourcemanager.am.max-attempts ApplicationMaster重试次数,增加重试次数,可以防止资源不足导致的AM启动失败问题。适用于所有ApplicationMaster的全局设置。每个ApplicationMaster都可以使用API设置一个单独的
为入口灵活配置自己的集群,通过引导操作用户可以自动化地完成安装MRS还没支持的第三方软件,修改集群运行环境等自定义操作。 MRS支持WrapperFS特性,提供OBS的翻译能力,兼容HDFS到OBS的平滑迁移,解决用户将HDFS中的数据迁移到OBS后,即可实现客户端无需修改自己的
法 方法 说明 forceKillApplication(KillApplicationRequest request) Client通过此接口请求RM中止一个已提交的任务。 getApplicationAttemptReport(GetApplicationAttemptReportRequest