检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
static_log_source.type = spooldir client.sources.static_log_source.spoolDir = 监控目录 client.sources.static_log_source.fileSuffix = .COMPLETED client.sources
SQL访问GaussDB(DWS)数据。 方案架构 Spark的应用运行架构如图1所示，运行流程如下所示： 应用程序（Application）是作为一个进程的集合运行在集群上的，由Driver进行协调。 在运行一个应用时，Driver会去连接集群管理器（Standalone、Mesos、YAR
查看任务的执行进度。 存在由其他原因导致的Broker故障，且问题场景单一明确，短时间内可以恢复Broker的情况。 根据问题根因指定恢复方案，恢复故障Broker。 故障Broker恢复后，阻塞的均衡任务会继续执行，可使用--status命令来查看任务的执行进度。 存在由其他原
Workflow”），可以直接单击该名称进行修改，例如“Shell-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 配置Shell命令为Linux指令时，请指定为原始指令，不要使用快捷键指令。例如：ls -l ,不要配置成ll。可配置成Shell命令ls
Workflow”），可以直接单击该名称进行修改，例如“Shell-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 配置Shell命令为Linux指令时，请指定为原始指令，不要使用快捷键指令。例如：ls -l ,不要配置成ll。可配置成Shell命令ls
开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端：Oracle JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。 TaiShan客户端：OpenJDK：支持1
Manager系统进行配置。 参数配置组合决定了每节点任务(map、reduce)的并发数。 如果所有的任务（map/reduce）需要读写数据至磁盘，多个进程将会同时访问一个磁盘。这将会导致磁盘的IO性能非常低下。为了改善磁盘的性能，请确保客户端并发访问磁盘的数不大于3。 最大并发的container数量应该为[2
Workflow”），可以直接单击该名称进行修改，例如“Hive2-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题： 使用Hue提交Oozie作业
Workflow”），可以直接单击该名称进行修改，例如“Hive2-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题： 使用Hue提交Oozie作业
收集周期最小可设定为3600秒。当设置为大于0秒且小于3600秒时，收集周期将使用3600秒。 定义NodeManager唤醒并上传日志的间隔周期。设置为-1或0表示禁用滚动监控，应用任务结束后日志汇聚。取值范围大于等于-1。 -1 yarn.nodemanager.disk-health-checker.log-dirs
Hive在执行join操作，数据量小时会生成MapJoin，执行MapJoin时会生成localtask任务，localtask启动的jvm内存继承了父进程的内存。 当有多个join执行的时候，启动多个localtask，如果机器内存不够，就会导致启动localtask失败。 解决办法 进入Hive服务配置页面：
项，默认配置已可满足大规模集群并发高吞吐量的任务。 JobManager Web Frontend： JobManager启动时，会在同一进程内启动Web服务器，访问Web服务器可以获取当前Flink集群的信息，包括JobManager，TaskManager及集群内运行的Job
否，执行11。 检查Kafka数据规划。 选择上报告警实例主机名对应的角色“Broker”。单击图表区域右上角的下拉菜单，选择“定制”，来自定义监控项。 在弹出的“定制”对话框中，选择“磁盘 > Broker磁盘使用率”，并单击“确定”。 关于Kafka磁盘使用情况信息会被显示。 图1
获取指定目录文件列表 2020年6月 序号 功能名称 功能描述 阶段 相关文档 1 支持自定义集群拓扑 MRS新增“自定义”类型集群，用户可以自主定义集群的进程实例在集群节点中的部署方式。 商用 创建自定义拓扑集群 2020年5月 序号 功能名称 功能描述 阶段 相关文档 1 支持包周期集群指定节点缩容
群的认证模式、HiveServer的SASL配置、HiveServer在ZooKeeper中节点名称、客户端对服务端的发现模式、以及服务端进程认证的principal。这些配置样例代码会自动从“hiveclient.properties中”读取。 //zkQuorum获取后的格式为"xxx
JobServer服务https端口。 默认值：29972 取值范围：29970~29979 JAVA_OPTS 用于JVM的gc参数。需确保GC_OPT设置正确，否则进程启动会失败。 见页面默认配置。 job.record.batch.delete.count 25 JobServer每一批老化数据的条数。
ive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Hive结构 Hive为单实例的服务进程，提供服务的原理是将HQL编译解析成相应的MapReduce或者HDFS任务，图1为Hive的结构概图。 图1 Hive结构 表1 模块说明
“HIVE_3_X”版本支持该参数。支持以下模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE
进行修改，例如“Distcp-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题： 使用Hue提交Oozie作业
进行修改，例如“Distcp-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题： 使用Hue提交Oozie作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
