检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
内存”中的“Oozie堆内存使用率”,单击“确定”。 图1 定制Oozie堆内存使用率 查看Oozie使用的堆内存是否已达到Oozie设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称
调测Hive Python样例程序 Python样例工程的命令行形式运行 赋予“python-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令: chmod +x python-examples -R 在“python-examples/pyCLI_nosec.py”
操作场景 该任务指导管理员根据业务需求,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 本章节内容适用于MRS 3.x及后续版本。3.x之前版本请参考均衡Kafka扩容节点后数据 前提条件 MRS集群管理员已明确业务需求,并
64]个字符。 默认取值: 不涉及 请求参数 无 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 cluster_versions Array of strings 参数解释: 集群版本列表。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 请求示例
调测Hive Python样例程序 Python样例工程的命令行形式运行 赋予“python-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令: chmod +x python-examples -R 在python-examples/pyCLI_nosec.py中的
schema sf2 原因分析 Presto中创建schema需要Hive的管理者权限,当前用户权限不足。 处理步骤 MRS Manager界面操作: 方法一: 登录MRS Manager页面,选择“系统设置 > 用户管理”。 在对应用户所在行的“操作”列,单击“修改”。 单击“选择并绑定
集群组件安装、集群扩容、集群缩容、升级Master节点规格功能不可用。 集群的运行状态、告警、事件无法监控。 集群详情页的节点管理、组件管理、告警管理、文件管理、作业管理、补丁管理、租户管理功能不可用。 Manager页面、各组件的Web站点无法访问。 再次开启通信安全授权,集群状态会恢复为“运行
Streaming使用上表中的API接口进行程序开发。而SparkSQL模块,支持CLI或者ThriftServer两种方式访问。其中ThriftServer的连接方式也有Beeline和JDBC客户端代码两种。 spark-sql脚本、spark-shell脚本和spark-submit脚本(运行的
1-hw-ei-311001-SNAPSHOT.jar 由于“$SPARK_HOME/jars/streamingClient010/*”默认没有添加到classpath,所以需要手动配置。 在提交应用程序运行时,在命令中添加如下参数即可,详细示例可参考在Linux环境中调测Spark应用。
* 本地提交仅支持普通模式 * * 用户同时只能选择一种任务提交方式,默认命令行方式提交,如果是其他方式,请删除代码注释即可 */ submitTopology(builder
map(_.trim) assert(filePaths.length > 0) // windowTime设置窗口时间大小,默认2分钟一个窗口足够读取文本内的所有数据了 val windowTime = ParameterTool.fromArgs(args)
frozen tables in 数据库名称; 查询冻结表的冻结分区 查询冻结分区: show frozen partitions 表名; 默认元数据库冻结分区类型只支持int、string、varchar、date、timestamp类型。 外置元数据库只支持PostgreSQL
hour”和“hbase.offpeak.end.hour”参数值都不为“-1”。 表1 配置HBase分时Compaction吞吐量参数 参数名称 参数描述 默认值 hbase.offpeak.start.hour HBase集群运行的非高峰开始时间,取值范围为:-1~23,且值只能为整数,当参数值
L文件中的元素转换成输入字段。 输入与输出 输入:HTML文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 父标签 所有字段的上层HTML标签,用于限定搜索范围 string 是 无 文件名 自定义一个字段,以当前数据所在的文件名作为该字段值。
Spark JDBCServer服务端的tunning选项中进行设置,设置完后需要重启JDBCServer。 表1 参数说明 参数 说明 默认值 spark.sql.bigdata.thriftServer.useHdfsCollect 是否将结果数据保存到HDFS中而不是内存中。
conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”如果不存在,则手动添加该参数项。 表1 参数说明 参数 描述 默认值 spark.task.maxFailures task retry次数。 4 spark.yarn.max.executor.failures
format_as:表示指定导出格式,支持CSV、PARQUET、CSV_WITH_NAMES、CSV_WITH_NAMES_AND_TYPES、ORC,默认为CSV。 示例 导出到HDFS 将简单查询结果导出到文件“hdfs://path/to/result.txt”中,并指定导出格式为CSV。
内存”中的“Oozie直接内存使用率”,单击“确定”。 图1 定制Oozie直接内存使用率 查看Oozie使用的直接内存是否已达到Oozie设定的阈值(默认值为最大直接内存的80%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称
PolicySync直接内存使用率”,单击“确定”。 图1 PolicySync直接内存使用率 查看PolicySync使用的直接内存是否已达到PolicySync设定的阈值(默认值为最大直接内存的90%)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger
全部配置”, 选择“ConfigNode > 系统”,将参数“GC_OPTS”中“-Xmx”的值参考以下说明进行调大,并保存配置。 “-Xmx”的值默认2G。 如果该告警偶然发生,参数“GC_OPTS”中“-Xmx”的值按照0.5倍速率调大。如果该告警频繁发生,“GC_OPTS”中“-Xmx”的值按照1倍速率调大。