检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HiveServer负责接收客户端请求（SQL语句），然后编译、执行（提交到YARN或运行Local MR）、与MetaStore交互获取元数据信息等。HiveServer运行日志记录了一个SQL完整的执行过程。 通常情况下，当遇到SQL语句运行失败，首先需要查看HiveServer运行日志。
conf（二选一），krb5.conf（必须）放入conf目录中。 此工具暂时只支持Carbon表。 此工具会初始化Carbon环境和预读取表的元数据到JDBCServer，所以更适合在多主实例、静态分配模式下使用。 父主题： Spark运维管理
conf（二选一），krb5.conf（必须）放入conf目录中。 此工具暂时只支持Carbon表。 此工具会初始化Carbon环境和预读取表的元数据到JDBCServer，所以更适合在多主实例、静态分配模式下使用。 父主题： Spark运维管理
在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。 父主题： 在Linux环境中调测Spark应用
提交Flink任务时launcher-job被Yarn终止如何处理？ 提交Flink作业时报错slot request timeout如何处理？ DistCP作业导入导出数据常见问题 如何通过Yarn WebUI查看Hive作业对应的SQL语句？ 如何查看指定Yarn任务的日志？ 添加Hive服务后，提交hiv
如果某个DataNode日志中打印“Too many open files”，说明该节点文件句柄不足，导致打开文件句柄失败，然后就会重试往其他DataNode节点写数据，最终表现为写文件很慢或者写文件失败。 解决办法 执行ulimit -a命令查看有问题节点文件句柄数最多设置是多少，如果很小，建议修改成640000。
所有参与分区间并发写入的任务，都必须配置上述参数。 不建议同分区内并发写，这种并发写入需要开启Hudi OCC方式并发写入，必须严格遵守并发参数配置，否则会出现表数据损坏的问题。 并发OCC参数控制： SQL方式： --开启OCC。 set hoodie.write.concurrency.mode=o
不涉及 取值范围： 不涉及 默认取值： 不涉及 input String 参数解释： 数据输入地址。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 output String 参数解释： 数据输出地址。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 job_log
task.launch.secs的值大，那么则会出现supervisor的容忍时间没到，仍然继续让worker启动，而nimbus却认定该业务启动超时，将该业务分配给了其他主机，这时supervisor的后台线程发现任务不一致，删除了拓扑的元数据，导致接下来worker在启动过程中要读取stormconf
分，并不是每个API都有查询参数。查询参数前面需要带一个“？”，形式为“参数名=参数取值”，例如“limit=10”，表示查询不超过10条数据。 例如您需要创建IAM用户，由于IAM为全局服务，则使用任一区域的Endpoint（例如“华北-北京四”区域的Endpoint：“iam
Consortium ）制定的一种文本标记语言，用于表示矢量几何对象、空间参照系统及空间参照系统之间的转换。 WKB(well-known binary) 是WKT的二进制表示形式，解决了WKT表达方式冗余的问题，便于传输和在数据库中存储相同的信息。 GeoJSON一种JSON格式的Featur
hbase.HBaseSQLParser spark.shuffle.manager 处理数据的方式。有两种实现方式可用：sort和hash。sort shuffle对内存的使用率更高，是Spark 1.2及后续版本的默认选项。 SORT spark.deploy.zookeeper.url
于MRS 3.3.0及之后版本集群） MRS 3.3.0及之后版本集群支持Capacity调度器与Superior调度器之间来回切换。 约束与限制 当前操作仅适用于集群新发放，需切换调度器场景。 切换调度器期间，请勿对该集群执行操作，防止由于切换过程中修改数据库导致操作失败。 对系统的影响
查看Spark应用调测结果 调优程序 您可以根据程序运行情况，对程序进行调优，使其性能满足业务场景诉求。 调优完成后，请重新进行编译和运行 请参考数据序列化至Spark CBO调优章节 父主题： Spark应用开发概述
是否必选 参数类型 描述 cluster_id 是 String 参数解释： 集群ID。如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。获取方法，请参见获取集群ID。 约束限制： 不涉及 取值范围： 只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。
本地文件系统上的文件。 文件名不能以下横线（_）或点（.）开头，以这些开头的文件会被忽略。 如下所示，如果用户test_hive load数据，正确的权限如下： [root@192-168-1-18 duan]# hdfs dfs -ls /tmp/input2 16/03/21
如上操作后可以用sparksql访问hive MetaStore，如需访问hive表数据，需要按照•同时访问两个集群的HDFS：的操作步骤配置且指定对端集群nameservice为LOCATION后才能访问表数据。 访问对端集群的HBase： 先将cluster2集群的所有Zookeep
如上操作后可以用sparksql访问hive MetaStore，如需访问hive表数据，需要按照•同时访问两个集群的HDFS：的操作步骤配置且指定对端集群nameservice为LOCATION后才能访问表数据。 访问对端集群的HBase： 先将cluster2集群的所有Zookeep
默认取值： 不涉及 data_volume_type String 参数解释： 数据盘类型。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 data_volume_size Integer 参数解释： 数据盘容量。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 data_volume_count
默认取值： 不涉及 cluster_id 是 String 参数解释： 集群ID。如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。获取方法，请参见获取集群ID。 约束限制： 不涉及 取值范围： 只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
