检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Oozie Java接口介绍 Java API主要由org.apache.oozie.client.OozieClient提供。 表1 接口介绍 方法 说明 public String run(Properties conf) 运行job public void start(String
create(Path f) 通过该接口可在HDFS上创建文件,其中f为文件的完整路径。 public void copyFromLocalFile(Path src, Path dst) 通过该接口可将本地文件上传到HDFS的指定位置上,其中src和dst均为文件的完整路径。 public
create(Path f) 通过该接口可在HDFS上创建文件,其中f为文件的完整路径。 public void copyFromLocalFile(Path src, Path dst) 通过该接口可将本地文件上传到HDFS的指定位置上,其中src和dst均为文件的完整路径。 public
create(Path f) 通过该接口可在HDFS上创建文件,其中“f”为文件的完整路径。 public void copyFromLocalFile(Path src, Path dst) 通过该接口可将本地文件上传到HDFS的指定位置上,其中“src”和“dst”均为文件的完整路径。
在Linux中调测Impala JDBC应用 在运行调测环境上创建一个目录作为运行目录,如“/opt/impala_examples”(Linux环境),并在该目录下创建子目录“conf”。 执行mvn package ,在工程target目录下获取jar包,比如: impala-examples-mrs-2
jar ,复制到“/opt/impala_examples”下。 开启Kerberos认证的安全集群下把从准备MRS应用开发用户获取的“user.keytab”和“krb5.conf”复制到“/opt/impala_examples/conf”下。 在Linux环境下执行如下命令运行样例程序。
MRS集群支持的云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
MRS所使用的裸金属服务器规格 针对不同的应用场景,MRS使用到如下类型的裸金属服务器。 本地存储型(D2型) IO优化型(IO2) 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中, A表示系列,例如:s表示通用型、c表示计算型、m表示内存型。 B表示系列号,例如
MRS所使用的弹性云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型
根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。系统每天凌晨3点开始周期性检测转储服务器,如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。
告警解释 根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。 告警属性
记录,然后写到file中。 java.util.Map<K,Object> countByKey() 对每个key出现的次数做统计。 void foreach(VoidFunction<T> f) 在数据集的每一个元素上,运行函数func。 java.util.Map<T,Long>
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,使用java -cp命令运行代码(类名与文件名等请与实际代码保持一致,此处仅为示例):
在Linux环境中调测Kafka应用 操作场景 在程序代码完成开发后,可以在Linux环境中运行IoTDB-Kafka样例程序。 前提条件 已安装IoTDB和Kafka客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
在Windows或Linux上创建一个目录作为运行目录。 在Windows创建路径“D:\Spring”, 将“huawei-spring-boot-kafka-examples-*.jar”和application.properties上传到当前路径下面。 在Linux上创建路径“/
Java样例代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息,将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples
的文件或本地文件。 如果文件存储在HDFS上,选择“.sh”文件所在路径即可,例如“user/hueuser/shell/oozie_shell.sh”。 如果选择本地文件,则需在“选择文件”界面,单击“上传文件”,上传本地文件,文件上传成功后,选择该文件即可。 如果执行的She
YARN Java API接口介绍 关于YARN的详细API可以直接参考官方网站上的描述: http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol
delimiter, long maxRetry) 获取用户定义的Socket数据,作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter指的是消息之间的分隔符。 maxRetry指的是由于连接异常可以触发的最大重试次数。 public