检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作。 执行HDFS Shell命令 安装客户端，具体请参考使用MRS客户端章节。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。例如路径为“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
eytab文件。“人机”用户第一次登录时需修改密码（普通模式不涉及）。 操作步骤 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执
节点的实例规格配置越高，数据处理分析能力越强，集群所需费用也越高。 不同可用区内的实例规格可能有差异，如果当前可用区下的实例规格不满足需求，可尝试切换其他可用区。 当Core节点规格选择为HDD磁盘时，MRS无需为数据磁盘付费，但ECS需要为此付费。 当Core节点规格选择非HDD磁盘时
否，执行4。 检查主备DBServer数据库进程状态。 登录DBService浮动IP所在主机，执行sudo su - root和su - omm命令切换至omm用户，使用cd ${BIGDATA_HOME}/FusionInsight/dbservice/进入DBService服务的安装目录。
eytab文件。“人机”用户第一次登录时需修改密码（普通模式不涉及）。 操作步骤 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执
csv”的文件到客户端所在节点的“/opt/test”目录下，分隔符为“|^[”，文件内容如下所示： 以客户端安装用户，登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos
MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如IndexServer2x变更为IndexServer。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性 告警ID 告警级别 是否自动清除 43022
GC次数小于或等于阈值时，告警恢复。 MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如IndexServer2x变更为IndexServer。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性 告警ID 告警级别 是否自动清除 43023
GC时间小于或等于阈值时，告警恢复。 MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性 告警ID 告警级别 是否自动清除 43009 重要
initEnvAndRunDemo.sh /opt/hbase-examples/hbasepython.properties 在运行程序之前需要格式化initEnvAndRunDemo.sh脚本。例如执行，dos2unix /opt/hbase-examples/hbasepython
已确定待创建集群的版本及版本支持的组件信息，请参见MRS组件版本一览表。 该示例创建出来的是按需购买的分析集群。 操作步骤 接口相关信息 URI格式：POST /v2/{project_id}/clusters 详情请参见创建集群。 请求示例 POST: https://{endpoi
确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
repository”参数，依次单击“Apply > OK”。 图13 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ IDEA的菜单栏中，选择“File > Settings...”。 图14 Settings 在
务多条键值对进行处理，决定并行启动的map任务数目。MapReduce框架根据用户指定的OutputFormat，把生成的键值对输出为特定格式的数据。 map、reduce两个阶段都处理在<key,value>键值对上，也就是说，框架把作业的输入作为一组<key,value>键值对，同样也产出一组<key
的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证（普通模式跳过此步骤）。 kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。
连接其他正常的JDBCServer服务。 多主实例模式相比主备模式的HA方案，优势主要体现在对以下两种场景的改进。 主备模式下，当发生主备切换时，会存在一段时间内服务不可用，该段时间JDBCServer无法控制，取决于Yarn服务的资源情况。 Spark中通过类似于HiveServer2的Thrift
tez适用于MRS 1.9.x及以后版本。 单击 开始执行HiveQL语句。 如果希望下次继续使用已输入的HiveQL语句，请单击保存。 格式化HiveQL语句，请单击选择“Format”。 删除已输入的HiveQL语句，请单击选择“Clear”。 清空已输入的语句并执行一个新的语句，请单击
务多条键值对进行处理，决定并行启动的map任务数目。MapReduce框架根据用户指定的OutputFormat，把生成的键值对输出为特定格式的数据。 map、reduce两个阶段都处理在<key,value>键值对上，也就是说，框架把作业的输入作为一组<key,value>键值对，同样也产出一组<key
确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
查看调测结果 Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 结果数据存储路径和格式已经由Spark应用程序指定，可通过指定文件获取。 登录Spark WebUI查看应用程序运行情况。 Spark主要有两个Web页面。 Spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
