检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行以下命令创建一个HDFS中不存在的备份目录，例如“/tmp/hbase_bak”： hdfs dfs -mkdir /tmp/hbase_bak 执行以下命令备份旧文件： hdfs dfs -mv /hbase/hbase.version /tmp/hbase_bak 执行hbck命令，修复“hbase.version”文件：
FemaleInfoCollection： public static void main(String[] args) throws Exception { SparkSession spark = SparkSession .builder() .appName("CollectFemaleInfo")
添加IoTDB数据源 本章节适用于MRS 3.2.0及之后的版本。 本章节指导用户在安全模式集群的HSConsole界面添加IoTDB类型的JDBC数据源。 添加IoTDB数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine集群节点网络互通。
当集群的ResourceManager以HA方式部署时，客户端使用的“yarn-site.xml”需要配置所有ResourceManager地址。客户端（包括ApplicationMaster和NodeManager）会以轮询的方式寻找Active状态的ResourceManager，也就是说客户端需
name-node HDFS NameNode地址 queueName 任务处理时使用的MapReduce队列名 mapred.mapper.class Mapper类名 mapred.reducer.class Reducer类名 mapred.input.dir MapReduce处理数据的输入目录
name-node HDFS NameNode地址 queueName 任务处理时使用的MapReduce队列名 mapred.mapper.class Mapper类名 mapred.reducer.class Reducer类名 mapred.input.dir MapReduce处理数据的输入目录
根据告警“定位信息”中的任务名找到失败任务，查找并记录失败作业的“application ID”，是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是，执行4。 否，执行6。 单击失败作业application ID进入作业界面。 单击作业“Logs”
每秒钟往Kafka中生产一条用户信息，用户信息有姓名、年龄、性别组成。 //producer代码 public class WriteIntoKafka { public static void main(String[] args) throws Exception
每秒钟往Kafka中生产一条用户信息，用户信息有姓名、年龄、性别组成。 //producer代码 public class WriteIntoKafka { public static void main(String[] args) throws Exception
_double") public class MyAverageAggregationFunction { private MyAverageAggregationFunction() {} @InputFunction public static void
Studio调度spark作业，偶现失败，重跑失败，作业报错： Caused by: org.apache.spark.SparkException: Application application_1619511926396_2586346 finished with failed status 解决方法
to submit application_1475400939788_0033 to YARN : org.apache.hadoop.security.AccessControlException: User newtest cannot submit applications
小。 如果您需要设置“yarn.app.attempt.diagnostics.limit.kc”参数值，具体操作参考修改集群服务配置参数，进入Yarn“全部配置”页面，在搜索框搜索以下参数。 表1 参数描述 参数 描述 默认值 yarn.app.attempt.diagnostics
完成JDK选择后，单击“Apply”。 选择“Project”，在“SDK”的下拉菜单中选择在“SDKs”中添加的JDK，在“language level”下的下拉菜单中选择“8 - Lambdas, type annotations etc.”。 图4 配置Project 单击“Apply”。
Encodings”，在“Project Encoding”和“Global Encoding”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图1所示。 图1 设置IntelliJ IDEA的编码格式 设置工程JDK。 在IntelliJ IDEA的菜单栏中，选择“File
xml”，在文件中添加如下日志配置信息，加粗标注部分根据需要进行修改。 <appender name="TEST" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>/path/test.log</file>
录中。默认目录为“{yarn.nodemanager.remote-app-log-dir}/${user}/{thisParam}”，该路径可通过界面上的“yarn.nodemanager.remote-app-log-dir-suffix”参数进行配置。 设置为false，表示日志不会收集到HDFS中。
（可选）通过委托获取临时AKSK访问OBS场景下，通过参数“fs.obs.auth.node-cache-short-circuit.enable”的不同配置控制是否允许访问ECS元数据接口，从而控制是否允许触发ECS流控。 MRS集群支持通过委托获取临时AKSK访问OBS。临时AKSK通过E
Flink Job Pipeline增强 通常情况下，开发者会将与某一方面业务相关的逻辑代码放在一个比较大的Jar包中，这种Jar包称为Fat Jar。 Fat Jar具有以下缺点： 随着业务逻辑越来越复杂，Jar包的大小也不断增加。 协调难度增大，所有的业务开发人员都在同一套业
选中当前工程，并单击选中“src”文件夹，单击“Mark as”右侧的“Sources”，单击选中“conf”文件夹，单击“Mark as”右侧的“Sources”。单击“Apply”后单击“OK”。 图1 添加目录到源文件路径 设置工程JDK。 在IntelliJ IDEA的菜单栏中，选择“File > Project
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
