检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cs/matchsslcontext_tls.html#matchsslcontext_tls。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 父主题： 准备Kafka应用开发环境
cs/matchsslcontext_tls.html#matchsslcontext_tls。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-Zip 16.04版本。 父主题： 准备Kafka应用开发环境
有个别节点资源占用比较高 如果观察到个别节点占用资源较高，需要针对占用资源较高的节点分析，分析当前的SQL语句是什么原因导致部分节点占用比其他节点更多资源，是计算还是数据存储倾斜导致，或者是软件bug导致。 每个节点资源占用都比较高 如果集群所有节点资源占用都比较高，说明集群整体比较忙，需要单独确认
并存储过程数据。 在MRS集群详情的“节点管理”页面，节点类型包含“Core”的节点组所包含的节点为Core节点。 Task节点 计算节点，集群计算资源不足时通过配置弹性伸缩策略实现自动扩缩容。 在MRS集群详情的“节点管理”页面，节点类型为“Task”的节点组所包含的节点为Task节点。
例代码中使用的用户为：sparkuser，需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user
HetuEngine”，进入HetuEngine服务页面。 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。 在“计算实例”页签，在待操作的实例所属租户所在行的“操作”列单击“配置”，进入“配置实例”页签。 在“自定义配置”单击“增加”添加如下参数。 表1
登录FusionInsight Manager，选择“服务 > HetuEngine > 概览”，单击“HSConsole WebUI”后的HSConsole链接进入计算实例界面，然后选择“数据源 > hive数据源名称 > 编辑 > 自定义配置 > 增加”，新增如下自定义配置项。 参数名称 值 描述 hive
aExample Spark Core任务的Java/Python/Scala/R示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkRExample示例不支持未开启Kerberos认证的集群。 sparksecurity-examples/SparkPythonExample
ReceiverInputDStream[String] 用TCP协议（源主机:端口）创建一个输入流。 start():Unit 启动Streaming计算。 awaitTermination(timeout: long):Unit 当前进程等待终止，如Ctrl+C等。 stop(stopSparkContext:
创建ClickHouse租户，租户资源类型只能选择“叶子租户”。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时，系统自动在Yarn中以租户名称创建任务队列。 不选择“Yarn”时，系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时，只需配置“默认资源池容量
在HSConsole页面重启计算实例。 HetuEngine基于MetaStore权限管控 约束：只适用于Hive类型数据源。 HetuEngine多个集群组网进行协同计算时，元数据由管理集群集中管理，计算在所有集群进行，访问HetuEngine集群用户的权限需要在管理集群进行配置，并在所有计算实例添加拥有Hive用户组权限的同名用户。
对应的机器ip和port为空引起的，出现该问题的时候使用hdfs fsck检查对应文件块的健康状态，删除损坏或者恢复丢失的块，重新进行任务计算即可。 父主题： HDFS故障排除
SparkJavaExample Spark Core任务的Java/Python/Scala/R示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkRExample示例不支持未开启Kerberos认证的集群。 SparkPythonExample SparkScalaExample
以数据源的方式操作HBase，将上面生成的RDD写入HBase表中. 读取HBase表中的数据，并且对其进行简单的操作。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户
以数据源的方式操作HBase，将上面生成的RDD写入HBase表中. 读取HBase表中的数据，并且对其进行简单的操作。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在
使用SparkStreaming持续读取特定端口的数据。 将读取到的Dstream通过streamBulkPut接口写入hbase表中。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在
JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-Zip 16.04版本。 父主题： 准备ClickHouse应用开发环境
JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-zip 16.04版本。 准备运行环境 进行
以保证MRS集群节点可以正常获取补丁文件。 使用具有管理权限的用户登录终端节点控制台。 单击管理控制台左上角的Region信息，选择区域和项目。 在终端节点列表中，单击终端节点ID。 选择进入“策略”页面，单击“编辑”，修改策略信息。 例如只允许VPC1内的服务器下载账号A的桶mybucket中的对象。
看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight Manager，选择“运维 > 备份恢复 > 恢复管理”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
