检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可以根据业务需要，使用MRS集群客户端，在Kafka主题中产生消息，或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群，需要提前在Manager中创建业务用户，用户拥有在Kafka主题中执行相应操作的权限。 操作步骤 进入Kafka服务页面： MRS3.x之前版本
本章节适用于MRS 3.x及后续版本。 前提条件 已安装集群客户端，例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。（普通模式不涉及） 在修改集群域名后，需要重
yarn.app.mapreduce.am.staging-dir 提交作业时使用的staging目录。 /tmp/hadoop-yarn/staging 777 mapreduce.jobhistory.intermediate-done-dir MapReduce作业记录历史文件的目录。
ClickHouse应用程序开发思路 配置ClickHouse连接属性 建立ClickHouse连接 创建ClickHouse数据库 创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题： ClickHouse开发指南（安全模式）
--company=company --organize=organize --common-name=commonname --email=集群用户邮箱命令在主管理节点“${OMS_RUN_PATH}/workspace0/ha/local/cert”目录生成“root-ca.crt”和“root-ca
使用调整集群节点接口时参数node_id如何配置？ 问： 使用调整集群节点接口时（/v1.1/{project_id}/cluster_infos/{cluster_id}），请求参数“node_id”如何配置？ 答： 使用调整集群节点接口时，请求参数“node_id”的值固定为“node_orderadd”。
据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。 CBO优化器会基于统计信息和查询条件，尽可能地使Join顺序达到更优。但是也可能存在特殊情况导致Join顺序调整不准确。例如数据存在倾斜，以及查询条
Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 登录Spark WebUI查看应用程序运行情况。 通过Spark日志获取应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。 结果数据存储路径和格式已经由Spark应用程序指定，可通过指定文件获取。
} } } LOG.info("Exiting dropIndex."); } 父主题： HBase数据读写样例程序
客户端机器的时间与集群的时间要保持一致，时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端，MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面，下载集群客户端软件包至主
CarbonData调优思路 CarbonData性能调优常见配置参数 创建CarbonData Table的建议 父主题： 使用CarbonData（MRS 3.x及之后版本）
DDL CREATE TABLE CREATE TABLE As SELECT DROP TABLE SHOW TABLES ALTER TABLE COMPACTION TABLE RENAME ADD COLUMNS DROP COLUMNS CHANGE DATA TYPE
MRS应用开发开源jar包冲突列表说明 HBase HDFS Kafka Spark2x
SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark Streaming对接Kafka0-10样例程序 Spark Structured
map 是 无 数据处理规则 将字段值输出到SparkSQL表中。 如果指定了一个或多个列为分区列，则在作业配置第四步“输出设置”页面上，会显示“分割程序”属性，该属性表示使用多少个处理器去对分区数据进行处理。 如果没有指定任何列为分区列，则表示不需要对输入数据进行分区处理，“分割程序”属性默认隐藏。
main()”运行对应的应用程序工程。 使用Windows访问MRS集群来操作Impala，有如下两种方式。 方法一：申请一台Windows的ECS访问MRS集群操作Impala，在安装开发环境后可直接运行样例代码。 在“现有集群”列表中，单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”，以及Master节点的“默认安全组”。
Application”运行对应的应用程序工程。 使用windows访问MRS集群来操作Impala，有如下两种方式。 申请一台windows的ECS访问MRS集群操作Impala。 使用本机访问MRS集群操作Impala。 方法一：申请一台windows的ECS访问MRS集群操作Impala。在安装开发环境后可直
“--transformer-class”指定SqlQueryBasedTransformer，可以通过SQL来操作数据转换，将源数据结构转换成目标表数据结构。 file:///opt/testconf/sourceCommon.properties： # source的公共属性
DataNode的心跳有延迟。 解决办法 如果DataNode的数据接收器不可用，通过在Manager页面，增加HDFS参数“dfs.datanode.max.transfer.threads”的值解决。 如果没有足够的硬盘空间或者CPU，试着增加新的数据节点或确保资源是可用的（磁盘空间或CPU）。
xml、hdfs-site.xml、hbase-site.xml文件，需要放置到"src/main/resources/conf"的目录下。 父主题： HBase数据读写示例程序
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
