检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/** * 命令行方式远程提交 * 步骤如下： * 打包成Jar包，然后在客户端命令行上面进行提交 * 远程提交的时候，要先将该应用程序和其他外部依赖(非excemple工程提供，用户自己程序依赖)的jar包打包成一个大的jar包
数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力。 操作步骤 任务的并行度可以通过以下四种层次（按优先级从高到低排列）指定，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 算子层次 一个算子、数据源和sink的并行度可以通过调用
准备应用开发配置文件 集群创建成功后，登录FusionInsight Manager创建用于创建Hive数据表及提交HCatalog程序的集群用户。 选择“系统 > 权限 > 用户 > 添加用户”，在新增用户界面创建一个机机用户，例如hiveuser。 “用户组”需加入“hive”、“supergroup”用户组。
xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 安全登录 请根据实际情况，修改“userName”为实际用户名，例如“developuser”。 在Windows环境下和Linux环境下请使用对应的路径获取方式。
TezUI无法展示Tez任务执行细节 问题 登录Manager界面，跳转Tez WebUI界面，已经提交的Tez任务未展示，如何解决。 回答 Tez WebUI展示的Tez任务数据，需要Yarn的TimelineServer支持，确认提交任务之前TimelineServer已经开启且正常运行。
程的端口为29122。 通过lsof -i:<port>命令，查看连接详细信息。其中port为实际端口号。 发现29101端口连接对端端口为21005，而21005为Kafka服务端端口。 说明业务层作为客户端连接Kafka获取消息，业务端口分配通过OS的随机端口分配范围来确定。
Tez WebUI界面无法展示Tez任务详情 问题 登录Manager界面，跳转Tez WebUI界面，已经提交的Tez任务未展示，如何解决。 回答 Tez WebUI展示的Tez任务数据，需要Yarn的TimelineServer支持，确认提交任务之前TimelineServer已经开启且正常运行。
yarn-client模式下如何修改日志级别为INFO 问题 Spark yarn-client模式下如何修改日志级别为INFO？ 回答 登录Spark客户端节点，修改“{客户端安装目录}Spark/spark/conf/log4j.properties”配置文件，修改参数“Log4j
如何修复长时间处于RIT状态的Region 问题 在HBase WEBUI界面看到有长时间处于RIT状态的Region，如何修复？ 回答 登录HMaster WebUI，在导航栏选择“Procedure & Locks”，查看是否有处于Waiting状态的process id。如
数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力。 操作步骤 任务的并行度可以通过以下四种层次（按优先级从高到低排列）指定，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 算子层次 一个算子、数据源和sink的并行度可以通过调用
在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑，目前样例代码中仅WordCountTopology支持远程提交，其他拓扑想实现远程提交，请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Strom样例工程应用。 调整IntelliJ
个网段中。 申请弹性IP，绑定新申请的弹性云主机IP，并配置安全组出入规则。 下载客户端程序，请参考下载MRS客户端。 登录客户端下载目标节点，以root用户安装集群客户端。 执行以下命令解压客户端包。 tar -xvf /opt/MRS_Services_Client.tar 执行以下命令校验安装文件包。
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
alhost绑定IP。如果需要MapReduce shuffle服务连接特定IP，可以参考该章节进行配置。 配置描述 当需要MapReduce shuffle服务绑定特定IP时，需要在NodeManager实例所在节点的配置文件“mapred-site.xml”中（例如路径为：$
需要读取HBase数据场景。 前提条件 调用HBase的get或scan接口，从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口：登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置 > 全部配置”，进入HBase服务参数“全部配
需要提升读取HBase数据性能的场景。 前提条件 调用HBase的get或scan接口，从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口：登录FusionInsight Manager，选择“集群 > 服务 > 配置 > 全部配置”，进入HBase服务参数“全部配置”界面，配置以下相关参数以提升HBase读数据性能。
+ INTERVAL '1' HOUR; 目前，Stream SQL Join需在指定的窗口范围内进行。对窗口范围内的数据进行连接，需要至少一个相等连接谓词和一个绑定双方时间的条件。这个条件可以由两个适当的范围谓词（<、<=、>=、>），一个BETWEEN谓词或者一个单一的相等谓
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
insertRecord（单设备一行） 避免并发使用同一个客户端连接 IoTDB客户端只能连接一个IoTDBServer，大量并发使用同一个客户端会对该客户端连接的IoTDBServer造成压力，可以根据业务需求连接多个不同的客户端来达到负载均衡。 使用SessionPool复用连接 分布式在Session内部做
cd 客户端安装路径 source bigdata_env source Spark/component_env kinit 组件业务用户 （普通集群无需执行kinit命令） hdfs dfs -ls /user/hive/warehouse/hrdb.db/car01/Metadata
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
