检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 当前BE实例不可用，无法对外提供读写数据功能。 可能原因 BE实例由于某种原因出现故障或被重启。 处理步骤 登录FusionInsight
1)对应的数据。 操作步骤 要启动Datasource表优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.hive.manageFilesourcePartitions 是否启用Met
1)对应的数据。 操作步骤 要启动Datasource表优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.hive.manageFilesourcePartitions 是否启用Met
上述命令中的参数描述如下： idx_1：表示索引名称 '＃'用于分隔索引名称。 如果未设置可选参数scan.caching，则将采用默认值1000。 用户表必须存在。 在执行以上的命令之后，指定的索引将被设置为ACTIVE状态。用户扫描数据时可以使用相关索引。 从用户表中删除现有索引及其数据
登录AOM服务控制台。 在左侧导航栏选择“Prometheus监控 > 实例列表”，然后单击“创建Prometheus实例”。 设置实例名称、企业项目和实例类型信息，设置完成后单击“确定”。 表1 创建Prometheus实例 参数名称 说明 实例名称 Prometheus实例的名称。 只
de的节点中存在。HDFS NameNode的Active和Standby节点均部署有ZKFC进程。 HDFS NameNode的ZKFC连接到ZooKeeper，把主机名等信息保存到ZooKeeper中，即“/hadoop-ha”下的znode目录里。先创建znode目录的Na
on Hudi开发规范 SparkSQL建表参数规范 Spark增量读取Hudi参数规范 Spark异步任务执行表compaction参数设置规范 Spark on Hudi表数据维护规范 Spark并发写Hudi建议 Spark读写Hudi资源配置建议 Spark On Hudi性能调优
若批量导入数据时创建二级索引，还需注意： 当将列的类型设置为string时，不能设置其长度。例如“<column index="1" type="string" length="1" >COLOUMN_1</column>”，此类型不支持。 当将列的类型设置为date时，不能设置其日期格式。例如“<column
directory”为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数，依次单击“Apply > OK”。 图13 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。
根据实际磁盘IO使用情况，修改告警阈值和平滑次数配置项。 登录FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 磁盘 > 每个读操作平均所需时间”。 根据实际服务的使用情况，单击“平滑次数”后的编辑按钮，更改告警的平滑次数。
SQL中使用substr()，substring()，strleft()等函数截取中文字符时，不能把中文当做1个字符长度来处理，导致报编码问题。 处理步骤 登录Impala客户端安装节点，执行以下命令。 cd 客户端安装目录 source bigdata_env 执行以下命令创建表。 impala-shell
Launcher一次容许的最大值2KB（2048 Bytes），需要调大默认的输出参数值，调整该参数不会对集群性能造成影响。 处理步骤 登录Manager页面，选择“集群 > 服务 > Oozie > 配置 > 全部配置 > 自定义”，在“oozie-site.xml”的配置项中添加参数“oozie
java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHivetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHivetoHbase().hivetohbase(spark._jsc) # 停止SparkSession
java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHivetoHbase') # 创建类实例并调用方法 spark._jvm.SparkHivetoHbase().hivetohbase(spark._jsc) # 停止SparkSession
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算每个单词的记录总数。 “log1.txt”示例文件： LiuYang YuanJing
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟： 主机内存使用率过高时，可能会导致业务进程运行处理缓慢、业务延迟。 业务失败：主机内存使用率过高时，可能会
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 正在运行的调度任务会阻塞，无法提交新的调度任务。在HA模式下，Oozie服务会重启。 可能原因 ZooKeeper服务异常。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 正在运行的调度任务会阻塞，无法提交新的调度任务。 可能原因 HDFS服务重启、故障或网络故障导致Oozie与HDFS连接状态异常。
getExecutionEnvironment(); //将StormConfig设置到Job的环境变量中，用于构造Bolt和Spout //如果Bolt和Spout初始化时不需要config，则不用设置 env.getConfig().setGlobalJobParameters(stormConfig);
注[1] 可以设置列族的压缩方式，代码片段如下： //设置编码算法，HBase提供了DIFF，FAST_DIFF，PREFIX三种编码算法 hcd.setDataBlockEncoding(DataBlockEncoding.FAST_DIFF); //设置文件压缩方式
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
