检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
apache.hadoop.hive.ql.exec.UDF”。 一个普通UDF必须至少实现一个evaluate()方法，evaluate函数支持重载。 样例代码 以下为UDF示例代码。 package com.huawei.bigdata.hive.example.udf; import
6”或“dependency_python3.7”或“dependency_python3.8”或“dependency_python3.9”（MRS 3.3.0及之后版本支持）文件夹。 执行whereis easy_install命令，找到easy_install程序路径。如果有多个路径，使用easy_install
o.io/docs/current/optimizer/cost-in-explain.html。 限制 Explain analyze不支持DDL语句。 示例 下面这个例子，你可以看到每个阶段（Stage）的CPU时间消耗，每个计划节点相应的代价。 这个代价是基于现实时间（wall
6”或“dependency_python3.7”或“dependency_python3.8”或“dependency_python3.9”（MRS 3.3.0及之后版本支持）文件夹。 执行whereis easy_install命令，找到easy_install程序路径。如果有多个路径，使用easy_install
link对于Yarn模式和Standalone模式提供HA机制，使集群能够从失败中恢复。这里主要介绍Yarn模式下的HA方案。 Flink支持HA模式和Job的异常恢复。这两项功能高度依赖ZooKeeper，在使用之前用户需要在“flink-conf.yaml”配置文件中配置Zo
out)文件排查。 如下异常： Error: Could not find or load main class Xmx2048M 说明java虚拟机启动时，将Xmx2048M作为java进程的启动参数而不是JVM的启动参数了，如下将符号‘-’误删掉。 METASTORE_GC_OPTS=Xms1024M
rceManager、NodeManager和JobHistory节点的配置与在Yarn的客户端的配置必须一致。 周期性收集日志功能目前仅支持MapReduce应用，且MapReduce应用必须进行相应的日志文件滚动输出配置，需要在MapReduce客户端节点的“客户端安装路径/
取值范围： 不涉及 默认取值： 不涉及 resource_pool_name 是 String 参数解释： 资源池名称。 约束限制： 当集群版本不支持按指定资源池进行弹性伸缩时，需要填写为default资源池。 取值范围： 只能由英文字母、数字以及“_”和“-”组成。 默认取值： 不涉及
submitTopology(args[0], conf, builder.createTopology()); } Storm不支持将HDFS的目的文件路径设置为HDFS的SM4加密分区。 部署运行及结果查看 导出本地jar包，请参见打包Strom样例工程应用。 将1导
数据分片（shard）的概念，这也是分布式存储的特点之一，即通过并行读写提高效率。 CPU架构为鲲鹏计算的ClickHouse集群表引擎不支持使用HDFS和Kafka。 查看ClickHouse服务cluster等环境参数信息 使用ClickHouse客户端连接到ClickHou
取值范围： 不涉及 默认取值： 不涉及 resource_pool_name 是 String 参数解释： 资源池名称。 约束限制： 当集群版本不支持按指定资源池进行弹性伸缩时，需要填写为default资源池。 取值范围： 只能由英文字母、数字以及“_”和“-”组成。 默认取值： 不涉及
的示例请参考开发Spark应用。安全模式，建议按照安全要求，准备安全认证代码、业务应用代码及其相关配置。 yarn-cluster模式中不支持在Spark工程中添加安全认证。因为需要在应用启动前已完成安全认证。所以用户需要在Spark应用之外添加安全认证代码或使用命令行进行认证。
com/jdbc_driver/mysql-connector-java-8.0.25.jar”。系统会从这个HTTP地址下载Driver文件。仅支持无认证的HTTP服务。 driver_class com.mysql.cj.jdbe.Driver - 执行以下命令查询MySQL表。 执行以下命令查询Catalogs：
发Spark应用。 如果您使用的安全模式，建议按照安全要求，准备安全认证代码、业务应用代码及其相关配置。 yarn-cluster模式中不支持在Spark工程中添加安全认证。因为需要在应用启动前已完成安全认证。所以用户需要在Spark应用之外添加安全认证代码或使用命令行进行认证。
e.xml”中配置“mapreduce.job.maps”项。 说明： 指定的InputFormat类用来控制map任务个数，注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口，指定MapReduce作业的reduce个数。默认只启
发Spark应用。 如果您使用的安全模式，建议按照安全要求，准备安全认证代码、业务应用代码及其相关配置。 yarn-cluster模式中不支持在Spark工程中添加安全认证。因为需要在应用启动前已完成安全认证。所以用户需要在Spark应用之外添加安全认证代码或使用命令行进行认证。
HDFS文件操作API概述 Hadoop中关于文件操作类基本上全部是在“org.apache.hadoop.fs”包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过来类
kinit MRS集群用户 例如：kinit opentsdbuser 执行tsdb命令。例如执行tsdb可以打印出当前opentsdb所支持的所有命令，如，fsck, import, mkmetric, query, tsd, scan, search, uid, version。
e.xml”中配置“mapreduce.job.maps”项。 说明： 指定的InputFormat类用来控制map任务个数，注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口，指定MapReduce作业的reduce个数。默认只启
e.xml”中配置“mapreduce.job.maps”项。 说明： 指定的InputFormat类用来控制map任务个数，注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口，指定MapReduce作业的reduce个数。默认只启
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
