检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Oozie业务运行流程 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名
public FileStatus getFileStatus(Path f) 通过该接口可以获取文件或目录的FileStatus对象,该对象记录着该文件或目录的各种状态信息,其中包括修改时间、文件目录等等。 public BlockLocation[] getFileBlo
配置Yarn模式下Spark动态资源调度 操作场景 对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务(比如JDBCServer),若分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度。
告警级别,取值范围: 1:紧急告警 2:重要告警 3:次要告警 4:提示告警 cause 告警原因 additionalInfo 附加信息 object 告警对象 父主题: 查看与配置MRS告警事件
conf”文件,会导致应用运行失败。 因此,根据应用是否涉及HBase进行以下处理: 当应用不涉及HBase时,即无需获取HBase Token。此时,将“spark.yarn.security.credentials.hbase.enabled”设置为“false”即可。 当应用涉及HBase时,将“spark
已准备开发环境及MRS集群相关配置文件,详情请参考准备连接HBase集群配置文件。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程,可根据实际业务场景选择对应的样例,相关样例介绍请参见HBase应用开发样例工程介绍。 若需要在本地Windows调测HBase样例代码,需参
删除HBase表数据 功能简介 HBase通过Table实例的delete方法来Delete数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中。
JDK,请确保Eclipse中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 父主题: 准备Storm应用开发环境
以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程“hdfs-example-security”。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.c
确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中的“src\storm-examples”目录下的“storm-examples”样例工程文件夹。 将
实例”,即可获取任一oozie实例的IP地址;单击“配置”,在搜索框中搜索“OOZIE_HTTPS_PORT”,即可查看使用的端口号。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienormal-example
servers”的值,确保security.protocol协议类型和bootstrap.servers中的端口号匹配。 父主题: Kafka应用开发常见问题
在Windows环境调测程序请参考在Windows中调测程序。 在Linux环境调测程序请参考在Linux调测程序。 父主题: 调测Kafka应用
1、命令行方式提交,这种需要将应用程序jar包复制到客户端机器上执行客户端命令提交 * 2、远程方式提交,这种需要将应用程序的jar包打包好之后在IntelliJ IDEA中运行main方法提交 * 3、本地提交 ,在本地执行应用程序,一般用来测试
ee); } } messageNo++; } } 父主题: 开发Kafka应用
SELECT * FROM TEST; 删表: DROP TABLE TEST; 退出Phoenix命令行。 !quit 父主题: HBase应用开发常见问题
进行kerberos认证(未开启Kerberos认证集群可以跳过此步骤) 创建一个org.apache.hadoop.hbase.rest.client.Cluster类的集群对象,通过调用集群类的add方法和REST server的集群IP和端口来添加集群。 Cluster cluster = new Cluster();
如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。当前用户为准备Spark应用开发用户时增加的开发用户。 kinit MRS集群用户 例如: 开发用户为“机机”用户时请执行:kinit -kt user.keytab
选择需要添加的依赖包,然后单击“OK”。 图3 Choose Library 单击“Apply”加载依赖包,然后单击“OK”完成配置。 父主题: Spark应用开发常见问题
Flink DataStream样例程序(Java) 功能介绍 统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印。 DataStream FlinkStreamJavaExample代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.flink