检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--jobManagerMemory <arg>：为JobManager设置内存。 -m,--jobmanager <arg>：要连接的JobManager的地址，使用该参数可以连接特定的JobManager。 -nl,--nodeLabel <arg>: 指定YARN application的nodeLabel 。
--jobManagerMemory <arg>：为JobManager设置内存。 -m,--jobmanager <arg>：要连接的JobManager的地址，使用该参数可以连接特定的JobManager。 -nl,--nodeLabel <arg>: 指定YARN application的nodeLabel 。
下载客户端”，下载全部服务的客户端。Beeline客户端不受此限制。 由于权限模型不兼容，使用HCatalog客户端创建的表，在HiveServer客户端中不能访问，但可以使用WebHCat客户端访问。 在普通模式下使用HCatalog客户端，系统将以当前登录操作系统用户来执行DDL命令。 退出beeline客户端时请使用
编译并运行MapReduce应用 在程序代码完成开发后，可以在Linux环境中运行应用。 MapReduce应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。 操作步骤 生成MapReduce应用可执行包。 执行mvn package生成jar包，在工程目录
A.html Standalone模式 对于Standalone模式的集群，可以启动多个JobManager，然后通过ZooKeeper选举出Leader作为实际使用的JobManager。该模式下可以配置一个主JobManager（Leader JobManager）和多个备JobManager（Standby
如果col1作为表上的第一个索引列，那么该表上的任何索引都可以成为查询期间使用的候选索引。例如： 如果有col1上的索引，可以将此索引作为候选索引，因为col1是此索引的第一列也是唯一的列；如果在col1和col2上有另一个索引，可以将此索引视为候选索引，因为col1是索引列列表中的第
配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间的资源分配以使用量作为排列依据，使得容量小的队列有竞争优势。集群整体吞吐较大，延迟调度机制使得应用可以有机会放弃跨机器或者跨机架的调度，争取本地调度。 父主题： YARN
RT”中自行配置。默认端口如下： 开源端口默认值为：6667 定制端口默认值为：22260 端口定制/开源区分：创建LTS版本类型集群时，可以选择“组件端口”为“开源”或是“定制”，选择“开源”使用开源端口，选择“定制”使用定制端口。 root用户初始密码MRS 3.3.0之前版本为“root”，MRS
准备好。这些偏移量信息也被可靠地存储在checkpoint文件中，应用失败重启时可以直接读取偏移量信息。 图1 Direct Kafka接口数据传输 需要注意的是，Spark Streaming可以在失败后重新从Kafka中读取并处理数据段。然而，由于语义仅被处理一次，重新处理的结果和没有失败处理的结果是一致的。
例如安装目录为“/opt/Flumeclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。 将Master1节点上的认证服务器配置文件，复制到安装Flume客户端的节点，保存到Flume客户端中“Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf”目录下。
source bigdata_env 执行以下命令认证当前用户。 kinit 组件业务用户 执行以下命令，创建Kafka的Topic。详细的命令使用可以参考创建Kafka Topic。 kafka-topics.sh --topic topic1 --create --zookeeper
准备Spark本地应用开发环境 Spark2x可以使用Java/Scala/Python语言进行应用开发，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。
准备Hive应用开发和运行环境 准备开发环境 Hive组件可以使用JDBC/Python/Python3接口进行应用开发，要准备的开发和运行环境分别如下表所示。 表1 JDBC开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows系统或Linux系统。
Loader权限： “管理员”：Loader管理员权限。 “作业连接器”：Loader的连接权限。 “作业分组”：Loader的作业分组操作权限。用户可以在指定作业分组下设置具体作业的操作权限，包括作业的编辑“编辑”与执行“执行”权限。 “作业调度”：Loader的作业调度权限。 表1 设置Loader角色
Loader权限： “管理员”：Loader管理员权限。 “作业连接器”：Loader的连接权限。 “作业分组”：Loader的作业分组操作权限。用户可以在指定作业分组下设置具体作业的操作权限，包括作业的编辑“编辑”与执行“执行”权限。 “作业调度”：Loader的作业调度权限。 表1 设置Loader角色
在应用开发过程中，如需在本地Windows系统中调测应用程序，需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通，可以通过绑定EIP的方式访问MRS集群，具体操作请参考配置Windows通过EIP访问安全模式集群Hive。 Windows本地hosts文件
进入该目录，执行du -sh *命令，查看该目录下各文件夹的大小。查看是否存在除“kafka-logs”目录外的其他文件，并判断是否可以删除或者迁移。 是，删除或者迁移相关数据，然后执行8。 否，执行4。 进入“kafka-logs”目录，执行du -sh *命令，选择一个待移动的Part
解决flink通过jdbc连接到clickhouse的9000端口超时问题 解决ClickHouse读取分布式表超时，没反应；数据迁移任务超时卡住，迁移失败；远程查询超时卡住问题 解决使用clickhouse benchmark 命令连接lb执行查询，并发数超过1个时，偶现coredump问题
准备Hive应用开发和运行环境 准备开发环境 Hive组件可以使用JDBC/Python/Python3接口进行应用开发，要准备的开发和运行环境分别如下表所示。 表1 JDBC开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows系统或Linux系统。
RegionServer “GC_OPTS”参数设置建议： “-Xms”与“-Xmx”设置相同的值，需要根据实际情况设置，增大内存可以提高读写性能，可以参考参数“hfile.block.cache.size”（见表2）和参数“hbase.regionserver.global.memstore
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
