检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
{BrokerList} {Topic} {messagesPerSec} {wordsPerMessage} 开发思路 接收Kafka中数据，生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果，并进行打印。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user
为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user
该值则用户密码随机生成，无需填写。 根据业务实际需要，在“用户组”，单击“添加”，选择一个或多个用户组添加到列表中。 如果选中的用户组绑定了角色或者在Ranger中配置了权限策略，用户将获得对应的权限。 安装FusionInsight Manager后默认生成的部分用户组包含特殊
以数据源的方式操作HBase，将上面生成的RDD写入HBase表中. 读取HBase表中的数据，并且对其进行简单的操作。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客
以数据源的方式操作HBase，将上面生成的RDD写入HBase表中. 读取HBase表中的数据，并且对其进行简单的操作。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端
单击“Generate Partition Assignments”按钮，生成分区迁移计划。 可以在“Throttle”配置分区迁移的限流参数，不配置则使用默认值，默认值为“0”，表示不限速。 Target Replicas：为自动生成的分区迁移计划，支持手动修改，其规则为“BrokerId1,BrokerId2”。
把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。
添加依赖包 单击“Apply”加载依赖包，然后单击“OK”完成配置。 由于运行环境不存在用户自定义的依赖包，您还需要在编包时添加此依赖包。以便生成的jar包已包含自定义的依赖包，确保Spark程序能正常运行。 在“Project Structure”页面，选择“Artifacts”页签。
创建IAM用户并授权使用MRS 如果您需要对您所拥有的MapReduce服务（MapReduce Service）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，
重置DBService数据库omm用户密码 操作场景 MRS集群中DBService数据库omm用户的默认密码为随机密码，建议定期重置DBService数据库omm用户的密码，以提升系统运维安全性。 该章节仅适用于MRS 3.2.0-LTS.1及之后的版本，MRS 3.2.0-LTS
相关参数介绍如下: tablename.to.index：表示需修改索引状态的数据表的名称。 indexnames.to.build：指定的需要批量生成数据的索引名，可以同时指定多个，用#号分隔。 hbase.gsi.cleandata.enabled（可选）：表示构建索引数据前是否需要清空索引表，默认值为“false”。
进度 表示作业运行进度。 组 表示作业所属组。 开始 表示作业开始时间。 持续时间 表示作业运行使用的时间。 Id 表示作业的编号，由系统自动生成。 如果MRS集群安装了Spark组件，则默认会启动一个作业“Spark-JDBCServer”，用于执行任务。 父主题： 使用Hue提交Oozie作业
含的文件大于一定阈值（即spark.sql.sources.parallelSplitDiscovery.threshold参数值）时，会生成一个Job，利用Executor的并行能力去读取，从而提升执行效率。 由于权限检查在获取表元数据之后，因此当读取的parquet表包含的文件数量很多时，会在报“Missing
添加依赖包 单击“Apply”加载依赖包，然后单击“OK”完成配置。 由于运行环境不存在用户自定义的依赖包，您还需要在编包时添加此依赖包。以便生成的jar包已包含自定义的依赖包，确保Spark程序能正常运行。 在“Project Structure”页面，选择“Artifacts”页签。
添加依赖包 单击“Apply”加载依赖包，然后单击“OK”完成配置。 由于运行环境不存在用户自定义的依赖包，您还需要在编包时添加此依赖包。以便生成的jar包已包含自定义的依赖包，确保Spark程序能正常运行。 在“Project Structure”页面，选择“Artifacts”页签。
将“generate_keystore.sh”脚本放置到Flink客户端“bin”目录中并调用“generate_keystore.sh”脚本，生成“Security Cookie”、“flink.keystore”文件和“flink.truststore”文件。具体操作可参考认证和加密。
Manager，然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/MRS-client”。 图1 仅下载客户端的配置文件 登录MRS Manager的主管理节点。
策略及授权项说明 如果您需要对您所拥有的MapReduce服务（MRS）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），如果华为账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用MRS服务的其它功能。
配置MRS云服务授权 用户通过MapReduce服务（MRS）管理控制台与MRS集群进行交互，查看MRS集群状态监控以及进行集群相关管理操作，首次使用MRS服务时需要进行服务授权。 进行服务授权后，MRS将在统一身份认证服务（IAM）中创建名为“mrs_admin_agency”
默认实现类可以为每一行的sourcecolumns生成handler列值，并且支持基于sourcecolumns的过滤条件查询。生成的handler列对用户不可见。除SORT_COLUMNS表属性外，任何DDL命令和属性都不允许包含handler列。 生成的handler列默认被视为排序列。如
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
