检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Base表,授予权限后可以使用SparkSQL访问HBase表。以授予用户在SparkSQL中查询HBase表的权限为例,操作步骤如下: 设置“spark.yarn.security.credentials.hbase.enabled”为“true”。 在Manager角色界面创
语句,执行3。 使用spark-beeline运行SQL语句,执行4。 执行SQL语句时,需要添加参数“--driver-memory”,设置内存大小,例如: /spark-sql --master=local[4] --driver-memory=512M -f /tpch.sql
Base表,授予权限后可以使用SparkSQL访问HBase表。以授予用户在SparkSQL中查询HBase表的权限为例,操作步骤如下: 设置“spark.yarn.security.credentials.hbase.enabled”为“true”。 在Manager角色界面创
使用序号指定加密列时,序号从0开始。0代表第1列,1代表第2列,依次类推。 创建列加密表时,表所在的目录必须是空目录。 使用insert语法向设置列加密的表中导入数据。 假设test表已存在且有数据: insert into table <table_name> select <col_list>
ALTER TABLE test SET SERDEPROPERTIES( "ignore.malformed.json" = "true"); 设置该属性后,查询表时若表中有破损的JSON数据默认显示为“NULL”。 执行以下命令查询表数据: select * from test; 数
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.9 发布时间 2024-06-30 解决的问题 MRS 3.2.0-LTS.1.9修复问题列表: 解决HetuEngine查询gauss date字段报错的问题。 解决HetuEngine计算实例在Yarn上启动失败的问题。
级,导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。 在一个ECS节点进行MRS Client安装,具体请参考集群外节点使用MRS客户端。本操作以MRS客户端安装路径为“/srv/client/”为例进行说明。
上传文件”上传3的认证凭据文件。添加参数“hdfs.hadoop_kerberos_principal”的值,以“用户名@域名”的方式进行设置,例如:clickhouseuser@HADOOP.COM。 如果ClickHouse对接的是HDFS的HA模式,还需要执行以下操作: 登录Manager首页,选择“集群
1/{project_id}/job-exes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表2 Query参数 参数 是否必选 参数类型 描述 page_size
调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/metadata/versions/{version_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
Presto的coordinator进程无法正常启动 用户问题 Presto的coordinator未知原因被终止,或者Presto的coordinator进程无法正常启动。 问题现象 Presto的coordinator无法正常启动,Manager页面上显示presto coo
获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job
JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情可参考https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8
用重新启动后C段时间的任务启用流控功能。 配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。
用重新启动后C段时间的任务启用流控功能。 配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。
提交作业前,需配置“客户端安装路径/Flink/flink/conf/flink-conf.yaml”文件,开启作业注册到FlinkServer功能和作业告警功能,参数设置如下: 表1 开启作业注册和作业告警功能 参数 值 描述 job.register.enable true 是否开启作业注册到FlinkServer:
Hive提供的JDBC实现有超时限制,默认是5分钟,用户可以通过java.sql.DriverManager.setLoginTimeout(int seconds)设置,seconds的单位为秒。 UDF管理 建议由管理员创建永久UDF,避免每次使用时都去add jar,和重新定义UDF。 Hive的UD
获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job
获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job
运维管理员可以执行Yarn集群的管理操作,例如访问ResourceManager WebUI,管理NodeManager节点,刷新队列,设置NodeLabel等,但不能提交任务。 hetuadmin HetuEngine管理员用户组,属于该组的用户拥有在HSConsole页面操作的权限。