检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
org/dist/spark/docs/3.3.1/submitting-applications.html。 Spark shell命令 Spark基本shell命令，支持提交Spark应用。命令为： ./bin/spark-submit \ --class <main-class> \ --master
支持部分函数下推 支持对abs()、month()、length()等数学、时间、字符串函数进行下推。并且，除了以上内置函数，用户还可以通过SET命令新增数据源支持的函数。 例如：select sum(abs(a)) from table 支持aggregate之后的limit、order
装Agent（MRS集群每个节点都需要安装），安装完成后可开启防护。 确保MRS集群的节点与HSS配额在同一区域，并使用配额所在区域的安装命令或安装包为主机安装Agent。 表1 主机防护开启操作 操作步骤 相关说明 步骤一 购买主机安全防护配额 主机安全服务有基础版、企业版、旗
服务（通过参数hive.server2.thrift.port配置），可以通过Beeline或者JDBC客户端代码来连接它，从而执行SQL命令。 如果您需要了解JDBCServer的其他信息，请参见Spark官网：http://archive.apache.org/dist/spark/docs/3
run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745) 使用客户端hdfs命令查看，如下文件不存在。 hdfs://hacluster/kylin/kylin_metadata/coprocessor/kylin-coprocessor-1
non-partitioned table for streaming read 解决Flink on hudi模块存在默认密码硬编码的问题 增加新的call命令，清除所有历史版本数据，仅保留所有最新的fileslice，同时清理timeline文件，仅保留一个最新的commit 单条数据大小估算时跳过包含delete操作的commit
/hive(POST) 描述 执行Hive命令 URL https://www.myserver.com/templeton/v1/hive 参数 参数 描述 execute hive命令，包含整个和短的Hive命令。 file 包含hive命令的HDFS文件。 files 需要复制到集群的文件名，以逗号分隔。
如果需要在管理控制台执行作业提交操作，需要使用omm用户登录主OMS节点并执行sh /opt/executor/bin/refresh-client-config.sh命令刷新集群内置客户端。 创建OBS并行文件系统 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称，例如“guardian-obs”。
cd Kafka客户端安装目录/Kafka/kafka kinit flume_kafka（输入密码） 读取KafkaTopic中的数据（修改命令中的中文为实际参数）。 bin/kafka-console-consumer.sh --topic 主题名称 --bootstrap-server
在Windows中调测Impala JDBC应用 JDBC客户端的命令行形式运行 运行样例。 依照准备Impala JDBC客户端中导入和修改样例后，并从集群Manager获取到keytab文件放置到样例工程的conf下（普通模式集群可忽略），即“impala-examples/
支持部分函数下推 支持对abs()、month()、length()等数学、时间、字符串函数进行下推。并且，除了以上内置函数，用户还可以通过SET命令新增数据源支持的函数。 例如：select sum(abs(a)) from table 支持aggregate之后的limit、order
cd Kafka客户端安装目录/Kafka/kafka kinit flume_kafka（输入密码） 读取KafkaTopic中的数据（修改命令中的中文为实际参数）。 bin/kafka-console-consumer.sh --topic 主题名称 --bootstrap-server
实例”查看FlinkServer两个实例的业务IP。 以root用户登录异常FlinkServer实例所在的服务器，用户密码为安装前用户自定义，请咨询系统管理员。 执行以下命令检查另一个FlinkServer实例的服务器是否可达。 ping 另一个FlinkServer实例IP 是，执行8。 否，执行6。 联系网络管理员处理网络故障。
Manager页面，在实时告警列表中，单击此告警所在行的，获取告警所在主机IP地址。 以root用户登录告警所在主机，用户密码为安装前用户自定义，请咨询系统管理员。 执行以下命令查看文件句柄占用较多的进程。 for proc in /proc/[0-9]*; do if [ -d "$proc/fd" ]; then
Manager的控制进程，负责各种管理动作的执行： Web Service将各种管理动作（安装、启停服务、修改配置等）下发到Controller。 Controller将命令分解，分解后将动作下发到每一个Node Agent。例如启动一个服务，会涉及多个角色和实例。 Controller负责监控每一个动作的执行情况。
为一个大的segment。所有指定的segment的id必须存在并且有效，否则合并将会失败。Custom合并通常在非高峰时段进行。 具体的命令操作，请参考ALTER TABLE COMPACTION。 表1 合并参数 参数 默认值 应用类型 描述 carbon.enable.auto
inline=true时有效。 false hoodie.run.compact.only.inline 通过Sql执行run compaction命令时，是否只执行压缩操作，压缩计划不存在时直接退出。 false 父主题： Hudi常见配置参数
终止后认为driver失联，然后整个应用停止。 解决办法：在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark.rpc.io.connectionTimeout）大于或等于RPC响应超时时间（spark
(SplitLogManager.java:745) 节点上下电，RegionServer的wal分裂失败导致。 解决办法 停止HBase组件。 通过hdfs fsck命令检查/hbase/WALs文件的健康状态。 hdfs fsck /hbase/WALs 输出如下表示文件都正常，如果有异常则需要先处理异常的文件，再执行后面的操作。
为一个大的segment。所有指定的segment的id必须存在并且有效，否则合并将会失败。Custom合并通常在非高峰时段进行。 具体的命令操作，请参考ALTER TABLE COMPACTION。 表1 合并参数 参数 默认值 应用类型 描述 carbon.enable.auto
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
