检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备MRS应用开发用户 操作场景 开发用户用于运行样例工程。进行不同服务的组件开发时，需要赋予不同的用户权限。 操作步骤 登录FusionInsight Manager。 在FusionInsight Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的
请等待5分钟，待新策略生效之后，再进行提交作业，否则会出现提交作业失败的情况。 当前IAM用户名中存在空格时（例如admin 01），不支持添加作业。 单击“作业管理”，在作业列表界面单击“添加”。 “作业类型”选择“SparkSql”并参考表1配置SparkSql作业信息。 图1
se权限。如果用户修改了YARN或者HBase的配置来开启权限管理，则修改后也需要配置Yarn和HBase权限。 MRS 3.x及后续版本支持Ranger，如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Hive的Ranger访问权限策略。
cpu-limit 表示该节点上YARN可使用的物理CPU百分比。默认是90，即不进行CPU控制，YARN可以使用节点全部CPU。该参数只支持查看，可通过调整YARN的RES_CPUSET_PERCENTAGE参数来修改本参数值。注意，目前推荐将该值设为可供YARN集群使用的CPU百分数。
HDFS文件操作API概述 Hadoop中关于文件操作类基本上全部是在“org.apache.hadoop.fs”包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过来类
每个服务有各自对应的角色实例。 元数据（Metadata） 元数据又称中介数据、中继数据，为描述数据的数据，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
cpu-limit 表示该节点上YARN可使用的物理CPU百分比。默认是90，即不进行CPU控制，YARN可以使用节点全部CPU。该参数只支持查看，可通过调整YARN的RES_CPUSET_PERCENTAGE参数来修改本参数值。注意，目前推荐将该值设为可供YARN集群使用的CPU百分数。
com/jdbc_driver/mysql-connector-java-8.0.25.jar”。系统会从这个HTTP地址下载Driver文件。仅支持无认证的HTTP服务。 driver_class com.mysql.cj.jdbe.Driver - 执行以下命令查询MySQL表。 执行以下命令查询Catalogs：
Spark默认使用的是Java的序列化机制，也就是ObjectOutputStream/ObjectInputStream API来进行序列化和反序列化。但是Spark同时支持使用Kryo序列化库，Kryo序列化类库的性能比Java序列化类库的性能要高很多。官方介 绍，Kryo序列化机制比Java序列化机制，性能
请等待5分钟，待新策略生效之后，再进行提交作业，否则会出现提交作业失败的情况。 当前IAM用户名中存在空格时（例如admin 01），不支持添加作业。 单击“作业管理”，在作业列表界面单击“添加”。 “作业类型”选择“SparkSubmit”，并配置其他作业信息。 图1 添加Spark作业
例，选择“更多 > 重启实例”，在弹出对话框输入密码，单击“确定”，重启所有RangerAdmin实例。 仅开启Kerberos认证的集群支持OBS级联授权。 配置回收站清理策略 登录OBS控制台。 选择“并行文件系统”，单击创建OBS并行文件系统的文件系统名称。 选择“基础配置
路径”选择“服务器端”，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1 下载客户端的配置文件 登录MRS Manager的主管理节点。 在集群详情的“节点信息”页签中查看节点名称，名称中包含“m
准备一个用于安装MRS集群客户端的Linux弹性云服务器。 云服务器操作系统及版本建议如下： 表1 操作系统参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler 可用：Euler OS 2.2 可用：Euler OS 2.3 可用：Euler OS 2.5 鲲鹏计算(ARM)
数据分片（shard）的概念，这也是分布式存储的特点之一，即通过并行读写提高效率。 CPU架构为鲲鹏计算的ClickHouse集群表引擎不支持使用HDFS和Kafka。 查看ClickHouse服务cluster等环境参数信息 使用ClickHouse客户端连接到ClickHou
flux.Flux --local /opt/my-topology.yaml 如果业务设置为本地模式，请确保提交环境为普通模式环境，当前不支持安全环境下使用命令提交本地模式的业务。 如果使用了properties文件，则提交命令如下： storm jar /opt/jartarget/source
kafkaProc.getValues(APPLICATION_ID, "streams-wordcount")); // 协议类型：当前支持配置为SASL_PLAINTEXT或者PLAINTEXT props.put(SECURITY_PROTOCOL, kafkaProc
flux.Flux --local /opt/my-topology.yaml 如果业务设置为本地模式，请确保提交环境为普通模式环境，当前不支持安全环境下使用命令提交本地模式的业务。 如果使用了properties文件，则提交命令如下： storm jar /opt/jartarget/source
SparkHome：集群中安装Spark的目录。 jars：应用程序代码和依赖包。 主体程序：处理数据 Spark shell命令 Spark基本shell命令，支持提交Spark应用。命令为： ./bin/spark-submit \ --class <main-class> \ --master
待创建的MRS集群名称。 集群类型 自定义 根据业务实际需要选择待创建的MRS集群类型。“自定义”类型集群提供丰富的组件搭配，可自行选择对应版本MRS集群所支持的所有组件。 版本类型 LTS版 待创建的MRS集群版本类型。 集群版本 MRS 3.2.0-LTS.1 待创建的MRS集群版本，不同版本
flux.Flux --local /opt/my-topology.yaml 如果业务设置为本地模式，请确保提交环境为普通模式环境，当前不支持安全环境下使用命令提交本地模式的业务。 如果使用了properties文件，则提交命令如下。 storm jar /opt/jartarget/storm-examples-1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
