检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--create-hive-table 创建Hive表，默认false，如果目标表不存在，则会创建目标表 --hive-table 指定hive表 --table 关系型数据库表名 --columns 指定需要导入的关系型数据表字段 --query 指定查询语句，将查询结果导入 hcatalog参数 --hcatalog-database
并保存。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通集群跳过此步骤） kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。
分隔转换 概述 “分隔转换”算子，将已有字段的值按指定的分隔符分隔后生成新字段。 输入与输出 输入：需要分隔的字段 输出：分隔后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 被分隔的字段名，需填写上一个转换步骤生成的字段名。 string 是
Spark常用命令介绍 Spark命令详细的使用方法参考官方网站的描述：http://spark.apache.org/docs/latest/quick-start.html。 常用命令 Shell命令执行方法： 进入Spark客户端目录。 初始化环境变量。 source /o
Presto Coordinator资源组排队任务超过阈值（2.x及以前版本） 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标，当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置（将“基础配置”切换为“全部配置”）
登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行distcp命令的用户所属的用户组必须为supergroup组，且执行以下命令进行用户认证。普通模式集群无需执行用户认证。
关闭HetuEngine数据类型隐式转换 在Session级别关闭隐式转换 登录HetuEngine客户端。 执行以下命令，关闭隐式转换功能。 set session implicit_conversion=false; 在Session级别关闭UDF函数运算结果的隐式转换 登录HetuEngine客户端。
拼接转换 概述 “拼接转换”算子，将已有字段的值通过连接符拼接，生成新的字段。 输入与输出 输入：需要拼接的字段 输出：拼接后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置拼接后的字段名。 string 是 无 分隔符 配置拼接符，可为空。
ALM-45329 Presto Coordinator资源组排队任务超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标，当检测到资源组排队数大于阈值时产生该告警。 告警属性 告警ID 告警级别
使用Yarn客户端命令查询历史作业报错 问题现象 执行Yarn客户端命令查询历史作业报错，进程被终止。具体错误如下: 原因分析 客户端分配内存不足，导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
在beeline客户端执行dfs -put命令报错 问题现象 执行命令： dfs -put /opt/kv1.txt /tmp/kv1.txt 报以下错误： Permission denied. Principal [name=admin, type=USER] does not
CLIENT_GC_OPTS="-Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source <客户端安装路径>/bigdata_env 直接执行并发命令，命令详情如下表。 命令 参数及说明 命令作用 hdfs quickcmds [-t threadsNumber]
CLIENT_GC_OPTS="-Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source <客户端安装路径>/bigdata_env 直接执行并发命令，命令详情如下表。 命令 参数及说明 命令作用 hdfs quickcmds [-t threadsNumber]
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
如果当前集群已启用Kerberos认证，需先配置客户端认证，可参考5。如果当前集群未启用Kerberos认证，则无需执行该步骤。 参考表1运行相关命令。 表1 Flink Shell命令参考 命令 参数说明 描述 yarn-session.sh -at,--applicationType <arg>：为Yarn
如果当前集群已启用Kerberos认证，需先配置客户端认证，可参考5。如果当前集群未启用Kerberos认证，则无需执行该步骤。 参考表1运行相关命令。 表1 Flink Shell命令参考 命令 参数说明 描述 yarn-session.sh -at,--applicationType <arg>：为Yarn
HetuEngine隐式转换对照表 在开启隐式转换功能后，当数据类型不匹配时会隐式转换，但并是不是所有的数据类型都支持隐式转换。以下为当前隐式转换功能支持的数据类型转换表： 表1 隐式转换对照表 - BOOLEAN TINYINT SMALLINT INTEGER BIGINT REAL
如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
