检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”。 等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如，客户端文件压缩包为“FusionInsight_Cluster_1_HDFS_Client.tar”，解压后得到“Fus
ectionReducer继承Reducer抽象类实现。 main方法提供建立一个MapReduce job，并提交MapReduce作业到hadoop集群。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.mapreduce.examples.
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
在Windows中调测程序 在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下，具体步骤请参考在Linux调测程序。 使用root用户登录安装了集群客户端的节点。
除了这一步外还需要将$SPARK_HOME/jars/streamingClient010目录中的kafka-clients jar包复制到$SPARK_HOME/jars目录下，否则会报class not found异常。 父主题： Spark Structured Streaming状态操作样例程序
在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 进入到HDFS客户端下的“/tmp/input”目录，在Linux系统HDFS客户端使用命令hadoop fs -putinput_data1.txt
/* * 任务的提交认为三种方式 * 1、命令行方式提交，这种需要将应用程序jar包复制到客户端机器上执行客户端命令提交 * 2、远程方式提交，这种需要将应用程序的jar包打包好之后在IntelliJ IDEA中运行main方法提交
在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 进入到HDFS客户端下的“/tmp/input”目录，在Linux系统HDFS客户端使用命令hadoop fs -putinput_data1.txt
在Windows中调测程序 在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下，具体步骤请参考在Linux调测程序。 使用root用户登录安装了集群客户端的节点。
若没有日志或者日志信息不详细，则在“作业名称/ID”列复制作业ID。 在主OMS节点执行如下命令确认任务请求是否下发到了knox，如果请求没有到knox则可能是knox出了问题，需要尝试重启knox进行恢复。 grep "mrsjob" /var/log/Bigdata/knox/logs/gateway-audit
用户自定义，请咨询系统管理员。 执行命令ethtool 网口名称，查看当前网口速率最大值Speed。 对于虚拟机环境，通过命令可能无法查询到网口速率，建议直接联系系统管理确认网口速率是否满足需求。 若网络读吞吐率超过阈值，直接联系网络管理员，提升网口速率。 检查该告警是否恢复。 是，处理完毕。
产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS集群磁盘容量不足，会影响到HDFS的数据写入。 可能原因 HDFS集群配置的磁盘空间不足。 处理步骤 查看磁盘容量，清除无用文件。 在FusionInsight Manager首页，选择“集群
kerberos.login.keytab :”配置项错误，未进行安全配置。 解决方法如下： 从MRS上下载用户的keytab认证文件，并放置到Flink客户端所在节点的某个目录下。 在“flink-conf.yaml”文件中配置： keytab路径。 security.kerberos
DataStream[T] 以round-robin的形式将元素分区到下游操作的子集中。 说明： 查看代码和rebalance的方式是一样的。 def broadcast: DataStream[T] 广播每个元素到所有分区。 提供设置eventtime属性的能力 表6 提供设置eventtime属性的能力的相关接口
[1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”放置到"src/main/resources"的目录下。 “login”方法中的参数“java.security.auth.login.config”设置的jaas
的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 “login”方法中的参数“java.security.auth.login.config”设置的jaas
除了这一步外还需要将$SPARK_HOME/jars/streamingClient010目录中的kafka-clients jar包复制到$SPARK_HOME/jars目录下，否则会报class not found异常。 父主题： Spark Structured Streaming状态操作样例程序
[1]userdir获取的是编译后资源路径下conf目录的路径。 [2]修改restHostName为待访问的RestServer实例所在节点IP地址，并将访问节点IP配置到运行样例代码的本机hosts文件中。 RestServer实例IP地址可登录FusionInsight Manager，选择“集群 > 服务
[2]test.test()传入参数为待访问的ThriftServer实例所在节点ip地址，需根据实际运行集群情况进行修改，且该节点ip需要配置到运行样例代码的本机hosts文件中。 “THRIFT_PORT”为ThriftServer实例的配置参数"hbase.regionserver
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
