检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
properties 功能描述 流程的属性定义文件，定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
java:38) 可能原因 客户端连接HiveServer时，HiveServer的地址是从ZooKeeper中自动获取，当ZooKeeper连接认证异常时，无法从ZooKeeper中获取正确的HiveServer地址。 在连接zookeeper认证时，需要客户端传入krb5.conf，p
送结果的处理。 Consumer重要接口 表3 Consumer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 消费者通过此参数值，创建与Broker之间的连接。 security.protocol 安全协议类型。 消费者使用的安全协议类型
名称。进入ClickHouseServer“概览”页面，单击“配置文件”中的users.xml文件，查看ClickHouse用户密码。 命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 创建指定数据库只读权限角色，有如下两种方案：
调用FileSystem实例的exists方法查看该目录是否存在。 如果存在，则直接返回。 如果不存在，则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
以HetuEngine User和Data Source User键值对的形式配置多个HetuEngine的用户对应上面多个用户的其中一个。当使用不同的HetuEngine用户访问GaussDB时，可对应用不同的GaussDB的用户和密码。 表3 HetuEngine-GaussDB用户映射配置
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ConfigNode进程的垃圾回收（GC）时间过长，可能
NameNode直接内存使用率超过阈值”所在行的下拉菜单，在“定位信息”中查看告警上报的角色名并确定实例的IP地址。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例 > NameNode（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制
API订阅安全Topic，并进行消息消费的代码片段。 详细内容在com.huawei.bigdata.kafka.example.Consumer类中。 /** * Consumer构造函数。 * @param topic 订阅的Topic名称。 */
API订阅安全Topic，并进行消息消费的代码片段。 详细内容在com.huawei.bigdata.kafka.example.Consumer类中。 /** * Consumer构造函数。 * @param topic 订阅的Topic名称。 */
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 DataNode进程的垃圾回收时间过长，可能影响该Da
值 > 定位信息”。查看告警上报的实例的IP地址。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例 > NodeManager（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”
定位信息”。查看告警上报的实例的IP地址。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > MapReduce > 实例 > JobHistoryServer（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制 >
由于kafka配置的限制，导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写kafka时，kafka上接收不到回写的数据，且kafka日志报错信息如下： 2016-03-02 17:46:19,017 | INFO | [kaf
选择“Libraries”页签，然后在如下页面，单击“+”，添加本地的依赖包。 图1 添加依赖包 单击“Apply”加载依赖包，然后单击“OK”完成配置。 由于运行环境不存在用户自定义的依赖包，您还需要在编包时添加此依赖包。以便生成的jar包已包含自定义的依赖包，确保Spark程序能正常运行。 在“Project
增大partition数，把任务切分的更小。 增大任务执行过程中的超时时间。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。 表2 参数说明 参数 描述 建议值 spark.sql.shuffle.partitions shuffle操作时，shuffle数据的分块数。 4501
当一个NodeManager处于unhealthy的状态10分钟时，新应用程序失败 问题 当一个NM（NodeManager）处于unhealthy的状态10分钟时，新应用程序失败。 回答 当nodeSelectPolicy为SEQUENCE，且第一个连接到RM的NM不可用时，RM会在“yarn.nm
增大partition数，把任务切分的更小。 增大任务执行过程中的超时时间。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。 表2 参数说明 参数 描述 建议值 spark.sql.shuffle.partitions shuffle操作时，shuffle数据的分块数。 4501
当一个NodeManager处于unhealthy的状态10分钟时，新应用程序失败 问题 当一个NM（NodeManager）处于unhealthy的状态10分钟时，新应用程序失败。 回答 当nodeSelectPolicy为SEQUENCE，且第一个连接到RM的NM不可用时，RM会在“yarn.nm
IoTDB > 实例”，单击1获取到的IP地址对应的ConfigNode，在“概览”页面查看图表“ConfigNode直接内存使用率”是否已达到ConfigNode设定的阈值（默认值为最大直接内存的90%）。 若未显示该图表，需单击图表区域右上角的下拉菜单，选择“定制 > 内存 >
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
