检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
QUEUED：正在排队 WAITING_FOR_RESOURCES：正在等待资源 PLANNING：正在规划 STARTING：正在启动 RUNNING：正在运行 FINISHING：即将完成 FINISHED：已完成 FAILED：执行失败 默认取值： 不涉及 result_location String
下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.KafkaADCount。 /** * 运行Structured Streaming任务，统计广告的有效展示和有效点击数据，结果写入kafka中 */ object KafkaADCount
用户表必须存在。 indexspecs.to.add中指定的索引不能已存在于表中。 indexnames.to.build中指定的索引名称必须已经存在于表中，或者应该是indexspecs.to.add的一部分。 在执行前面的命令之后，indexspecs.to.add中指定的所有索
用户表必须存在。 indexspecs.to.add中指定的索引不能已存在于表中。 indexnames.to.build中指定的索引名称必须已经存在于表中，或者应该是indexspecs.to.add的一部分。 在执行前面的命令之后，indexspecs.to.add中指定的所有索
正式编写脚本前，您需要将所需安装包、配置包的所有相关文件都上传到同Region的OBS文件系统中。 因为不同Region间有网络隔离，MRS虚拟机无法下载其他Region上的OBS文件。 脚本中如何从OBS文件系统下载文件。 您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统，需要用hadoop
情况，那么通过该参数可以避免这种情况。 -clear-staging-table 如果该staging-table非空，则通过该参数可以在运行导入前清除staging-table里的数据。 通过sqoop import导入MySQL数据到Hive表 登录客户端所在节点。 执行如下命令初始化环境变量。
MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCredentialsProvider：通过ECS云服务获取AK/SK信息。 com.obs.services.BasicObsCredentialsProvi
定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户 例如，kinit hiveuser。 运行Hive客户端命令，实现A业务。 内部表操作 执行以下命令登录Hive客户端命令行： beeline 根据表1创建用户信息表user_info并添加相关数据，例如：
提供自动化物化视图的创建，无需手动执行SQL创建物化视图（推荐使用） 配置HetuEngine智能物化视图能力 查看物化视图自动化任务记录 看任务执行情况，帮助评估集群运行健康状况 查看HetuEngine物化视图自动化任务 父主题： 配置HetuEngine物化视图
数据量在几十到百GB级别。 支持导入CSV、Parquet、ORC格式的数据，默认支持导入CSV格式数据。 前提条件 已创建包含Doris服务的集群，集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证（安全模式）
执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 运行Impala客户端命令，实现A业务。 内部表的操作： 直接执行Impala组件的客户端命令impala-shell 默认情况下，impal
设置提交HQL命令到Yarn执行的权限 部分业务需要使用的HQL命令转化为MapReduce任务并提交到Yarn中执行，需要设置Yarn权限。例如运行的HQL使用了insert、count、distinct、group by、order by、sort by或join等语句的相关场景。
forName("org.apache.hive.service.cli.thrift.ThriftCLIService"); // 添加Hive运行依赖到Job JarFinderUtil.addDependencyJars(config, hiveDriverClass,
执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 运行Impala客户端命令，实现A业务。 内部表的操作： 直接执行Impala组件的客户端命令impala-shell 默认情况下，impal
等情况，则通过该参数可以避免这种情况。 -clear-staging-table 如果该staging-table非空，则通过该参数可以在运行导入前清除staging-table里的数据。 sqoop import（MySQL到Hive表） 登录Sqoop客户端所在节点。 执行如下命令初始化环境变量。
forName("org.apache.hive.service.cli.thrift.ThriftCLIService"); // 添加Hive运行依赖到Job JarFinderUtil.addDependencyJars(config, hiveDriverClass,
开发和部署对接HetuEngine的Hive UDF 用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。 本章节主要介绍开发和应用Hive UDF的具体步骤。 MRS 3.2.1及以后版本，需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3
story2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 前提条件 已安装Ranger服务且服务运行正常。 已启用Hive服务的Ranger鉴权功能，并且需要先重启Hive服务，再重启Spark服务，再启用Spark服务的Ranger鉴权
策略中的Policy Conditions），spark-submit与spark-sql不支持。 前提条件 已安装Ranger服务且服务运行正常。 已启用Hive服务的Ranger鉴权功能，并且需要先重启Hive服务，再重启Spark服务，再启用Spark服务的Ranger鉴权
Female Info"); job.setJarByClass(FemaleInfoCollector.class); // 设置运行时执行map，reduce的类，也可以通过配置文件指定。 job.setMapperClass(CollectionMapper.class);
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
