检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在创建集群时的组件列表中不呈现。 MRS组件的版本号通常与组件开源版本号保持一致。 MRS集群内各组件不支持单独升级，请根据实际需要选择对应版本的集群。 LTS（Long Term Support）版本集群与普通版本集群区别可参考MRS集群版本说明。 表1 MRS组件版本信息 MRS支持的组件
配置多主实例与多租户模式切换 配置场景 在使用集群中，如果需要在多主实例模式与多租户模式之间切换，则还需要进行如下参数的设置。 多租户切换成多主实例模式 修改Spark2x服务的以下参数： spark.thriftserver.proxy.enabled=false spark.scheduler
<tablename>：表示要操作的表名。 <inputdir>：表示要批量导入的数据目录。 -Dindexspecs.to.add=<indexspecs>：表示索引名与列的映射，例如-Dindexspecs.to.add='index_bulk=>info:[age->String]'。 其构成如下所示： indexNameN=>familyN
<tablename>：表示要操作的表名。 <inputdir>：表示要批量导入的数据目录。 -Dindexspecs.to.add=<indexspecs>：表示索引名与列的映射，例如-Dindexspecs.to.add='index_bulk=>info:[age->String]'。 其构成如下所示： indexNameN=>familyN
利用Scala语言开发时，应用程序结束之前必须调用SparkContext.stop()。 以Scala语言开发应用程序为例，分别介绍下正确示例与错误示例。 正确示例： //提交spark作业 val sc = new SparkContext(conf) //具体的任务 ... //应用程序结束
MRS组件jar包版本与集群对应关系说明 MRS 3.1.5 表1 MRS 3.1.5版本集群jar版本 组件 组件版本 jar版本 Flink 1.12.2 1.12.2-hw-ei-315008 Hive 3.1.0 3.1.0-hw-ei- 315008 Tez 0.9.2
提交作业失败，报错与OBS相关如何处理？ 问 为什么提交作业失败，报错与OBS相关？ 答 与OBS相关的报错，一般与读写OBS相关，可通过以下步骤进行排查。 查看作业管理中失败作业详情，找到作业详情中的实际作业编号。如果实际作业编号为空，则执行4。 登录Manager界面，选择“集群
bin/flink cancel <JobID> 停止作业（仅流式作业）： bin/flink stop <JobID> 取消和停止作业的区别如下： 取消作业：执行“cancel”命令时，指定作业会立即收到cancel()方法调用ASAP。如果调用结束后作业仍然没有停止，Flink会定期开始中断执行线程直至作业停止。
admin命令报无权限 在beeline客户端创建UDF时报错 Hive服务状态为故障如何处理 Hive服务健康状态和Hive实例健康状态的区别 Shell客户端连接提示“authentication failed” 客户端提示访问ZooKeeper失败 使用UDF函数时提示“Invalid
bin/flink cancel <JobID> 停止作业（仅流式作业）： bin/flink stop <JobID> 取消和停止作业的区别如下： 取消作业：执行“cancel”命令时，指定作业会立即收到cancel()方法调用ASAP。如果调用结束后作业仍然没有停止，Flink会定期开始中断执行线程直至作业停止。
bin/flink cancel <JobID> 停止作业（仅流式作业）： bin/flink stop <JobID> 取消和停止作业的区别如下： 取消作业：执行“cancel”命令时，指定作业会立即收到cancel()方法调用ASAP。如果调用结束后作业仍然没有停止，Flink会定期开始中断执行线程直至作业停止。
bin/flink cancel <JobID> 停止作业（仅流式作业）： bin/flink stop <JobID> 取消和停止作业的区别如下： 取消作业：执行“cancel”命令时，指定作业会立即收到cancel()方法调用ASAP。如果调用结束后作业仍然没有停止，Flink会定期开始中断执行线程直至作业停止。
MRS组件jar包版本与集群对应关系说明 MRS 3.2.0-LTS.1 表1 MRS 3.2.0-LTS.1版本集群Maven仓库的jar版本与组件的对应关系 组件 组件版本 jar版本 Flink 1.15.0 1.15.0-h0.cbu.mrs.320.r33 Hive 3
更新用户（组）与IAM委托的映射关系 功能介绍 更新用户（组）与IAM委托之间的映射关系。 接口约束 无 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/clusters/{cluster_id}/agency-mapping 表1 路径参数 参数
配置MRS组件默认日志级别与归档文件大小 如果需要在日志中调整记录的日志级别，则管理员可以修改FusionInsight Manager的日志级别。对于某个具体的服务，除了可以修改日志级别，还可以修改日志文件大小，防止磁盘空间不足日志无法保存。 本章节操作仅支持MRS 3.x及之后的版本。
配置Controller与Agent间数据传输加密 操作场景 安装集群后Controller和Agent之间需要进行数据通信，在通信的过程中采用了Kerberos认证，出于对集群性能的考虑，通信过程默认不加密，对于一些安全要求较高用户可以采用以下方式进行加密。 该章节仅适用于MRS
"source_type" : "RDS_MYSQL", "source_info" : "{\"rds_instance_id\":\"3ce1ae8af8cd43b2bcbd18b7541bb8b0in01\",\"jdbc_url\":\"jdbc:mysql://192.XXX.XXX
提供服务。Beeline和JDBC客户端代码两种连接方式的操作相同。 连接HA模式下的ThriftServer，连接字符串和非HA模式下的区别在于需要将ip:port替换为ha-cluster，使用到的其他参数见表1。 表1 客户端参数列表 参数名称 含义 默认值 spark.thriftserver
已参考管理驱动，上传了MySQL数据库驱动。 步骤1：在MRS Hive上创建Hive分区表 在MRS的Hive客户端中，执行以下SQL语句创建一张Hive分区表，表名与MySQL上的表trip_data一致，且Hive表比MySQL表多建三个字段y、ym、ymd，作为Hive的分区字段。 SQL语句如下： 1
Hive SQL与SQL2003标准有哪些兼容性问题 本文列举目前已发现的Hive SQL与SQL2003标准兼容性问题。 不支持在having中写视图。 举例如下： select c_last_name ,c_first_name ,s_store_name
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
