检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”若不存在，则手动添加该参数项。 表1 参数说明 参数 描述 默认值 spark.task.maxFailures task retry次数。 4 spark.yarn.max.executor.failures
TopologyBuilder builder = new TopologyBuilder(); // 分隔符格式，当前采用“|”代替默认的“，”对tuple中的field进行分隔 // HdfsBolt必选参数 RecordFormat format
map(_.trim) assert(filePaths.length > 0) // windowTime设置窗口时间大小，默认2分钟一个窗口足够读取文本内的所有数据了 val windowTime = ParameterTool.fromArgs(args)
击“确定”。 图1 TokenServer堆内存使用率 查看TokenServer使用的堆内存是否已达到TokenServer设定的阈值（默认值为最大堆内存的95%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 服务 > Guardian
确定”。 图1 RangerAdmin直接内存使用率 查看RangerAdmin使用的直接内存是否已达到RangerAdmin设定的阈值（默认值为最大直接内存的80%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger
UserSync堆内存使用率”，单击“确定”。 图1 UserSync堆内存使用率 查看UserSync使用的堆内存是否已达到UserSync设定的阈值（默认值为最大堆内存的95%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger
UserSync非堆内存使用率”，单击“确定”。 图1 UserSync非堆内存使用率 查看UserSync使用的非堆内存是否已达到UserSync设定的阈值（默认值为最大非堆内存的80%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger
TagSync堆内存使用率”，单击“确定”。 图1 TagSync堆内存使用率 查看TagSync使用的堆内存是否已达到TagSync设定的阈值（默认值为最大堆内存的95%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger
PolicySync堆内存使用率”，单击“确定”。 图1 PolicySync堆内存使用率 查看PolicySync使用的堆内存是否已达到PolicySync设定的阈值（默认值为最大堆内存的95%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger
PolicySync非堆内存使用率”，单击“确定”。 图1 PolicySync非堆内存使用率 查看PolicySync使用的非堆内存是否已达到PolicySync设定的阈值（默认值为最大非堆内存的90%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 服务> Ranger
Agent > Flume堆内存使用率”，单击“确定”。 图1 Flume堆内存使用率 查看Flume使用的堆内存是否已达到Flume设定的阈值（默认值为最大堆内存的95%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称
> Flume非堆内存使用率”，单击“确定”。 图1 Flume非堆内存使用率 查看Flume使用的非堆内存是否已达到Flume设定的阈值（默认值为最大非堆内存的80%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称
资源”，勾选“NameNode内存使用详情”。查看直接内存使用情况。 查看NameNode使用的直接内存是否已达到NameNode设定的最大直接内存的90%(默认阈值)。 是，执行4。 否，执行8。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HDFS
定制NodeManager内存使用率 查看NodeManager使用的直接内存是否已达到NodeManager设定的最大直接内存的90%(默认阈值)。 是，执行4。 否，执行9。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Yarn
/ClickHouse/clickhouse_insert_tool/clickhouse_insert_tool.sh 登录ClickHouse客户端节点，连接服务端，具体请参考ClickHouse客户端使用实践。 执行如下命令，查询插入数据的本地表对应的分布式表，查看结果是否符合预期： select
compaction schedule优化，根据最后一次compaction action生成plan。 Hudi默认保留5G归档后的压缩文件。 Hudi OBS默认Clean不进回收站。 Hudi archive归档更多的clean和rollback，减少元数据文件数。 解决Hudi
主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 编译JDBC样例程序： 在IDEA界面左下方单击“Terminal”进入终端，执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS”，表示编译成功，如下图所示。编译成功后将会在样
L文件中的元素转换成输入字段。 输入与输出 输入：HTML文件 输出：多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 父标签 所有字段的上层HTML标签，用于限定搜索范围。 string 是 无 文件名 自定义一个字段，以当前数据所在的文件名作为该字段值。
Spark JDBCServer服务端的tunning选项中进行设置，设置完后需要重启JDBCServer。 表1 参数说明 参数 说明 默认值 spark.sql.bigdata.thriftServer.useHdfsCollect 是否将结果数据保存到HDFS中而不是内存中。
map(_.trim) assert(filePaths.length > 0) // windowTime设置窗口时间大小，默认2分钟一个窗口足够读取文本内的所有数据了 val windowTime = ParameterTool.fromArgs(args)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
