检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Runtime: 36652 ms 查看运行结果。 使用flinkuser用户登录FusionInsight Manager，选择“集群 > 服务 > Yarn”，进入Yarn ResourceManager WebUI页面，在“Applications”页面单击作业名称，进入到作业详情页面。
<tablename>：表示要操作的表名。 <inputdir>：表示要批量导入的数据目录。 -Dindexspecs.to.add=<indexspecs>：表示索引名与列的映射，例如-Dindexspecs.to.add='index_bulk=>info:[age->String]'。 其构成如下所示：
HBASE_BULKLOAD 数据量大 HBase实例 在HBase作业中，Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加，则此作业无法正常运行。 HBase 导入前清理数据 导入前清空原表的数据。“True”为执行清空
driver.extraClassPath”参数值中添加服务端的依赖包路径，如“/opt/huawei/Bigdata/FusionInsight/spark/spark/lib/streamingClient/*”。 将各服务端节点的“spark-examples_2.10-1.5
输入设置参数 参数名 解释说明 示例 HBase实例 在HBase作业中，Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加，则此作业无法正常运行。 HBase 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000。
<tablename>：表示要操作的表名。 <inputdir>：表示要批量导入的数据目录。 -Dindexspecs.to.add=<indexspecs>：表示索引名与列的映射，例如-Dindexspecs.to.add='index_bulk=>info:[age->String]'。 其构成如下所示：
keytab文件复制到示例参数值的路径下。 ZKServerPrincipal zookeeper/hadoop.<系统域名> ZooKeeper服务端principal。请联系管理员获取对应账号。 下列代码片段在样例工程中com.huawei.bigdata.spark.example
FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。 前提条件 集群中已安装HDFS、Yarn、Flink服务。 包含HDFS服务的客户端已安装，安装路径如：/opt/client。 参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink
大批量少频次的插入。 内容要求：ClickHouse的每次数据插入都会生成一到多个part文件，如果data part过多则会导致merge压力变大，甚至出现服务异常影响数据插入。建议一次插入10万行，每秒不超过1次插入。 一次只插入一个分区内的数据。 内容要求：如果数据属于不同的分区，则每次插入，
配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口（21351）。 为了兼容性，此处支持配置多个IP地址和端口，并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口（21351），其余的可根据业务需求配置。 10.0
访问FlinkServer WebUI界面步骤 使用具有FlinkServer管理员权限的用户登录FusionInsight Manager，选择“集群 > 服务 > Flink”。 对于开启了Kerberos认证的MRS集群，访问Flink WebUI，需提前创建具有FlinkServer管理员权
使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户，可通过Java API、HBase Shell或者Web UI访问服务端，对HBase的表进行读写操作。本文中的HBase客户端特指HBase client的安装包，可参考HBase对外接口介绍。 父主题： HBase应用开发概述
rver作业管理页面操作。 本示例以安全模式Kafka为例。 前提条件 集群中已安装HDFS、Yarn、Kafka和Flink服务。 包含Kafka服务的客户端已安装，例如安装路径为：/opt/client 参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink
默认规格（默认平均每个regionserver上region的个数，即2000），则调整方案为（实际规格 / 默认规格）* 默认时间。 在服务端的“hbase-site.xml”文件中配置splitlog参数，如表1所示。 表1 splitlog参数说明 参数 描述 默认值 hbase
anager界面设置冷热数据迁移的CRON表达式，并启动自动冷热数据迁移特性。 操作方法为： 修改HDFS服务的NameNode的如下参数值。参数修改方法请参考修改集群服务配置参数。 参数 描述 取值示例 dfs.auto.data.mover.enable 表示是否启用自动冷热数据迁移特性。默认值是“false”。
序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户，可通过Java API、HBase Shell或者Web UI访问服务端，对HBase的表进行读写操作。本文中的HBase客户端特指HBase client的安装包，可参考HBase对外接口介绍。 父主题： HBase应用开发概述
列级别统计信息的收集不支持复杂的数据类型，例如Map，Struct等。 表级别统计信息的自动收集不支持Hive on HBase表。 在Manager界面Hive的服务配置中，搜索参数“hive.stats.autogather”和“hive.stats.column.autogather”，选中“true”永久开启收集功能。
进行读写性能调优。 本章节适用于MRS 3.x及之后版本。 操作步骤 登录FusionInsight Manager界面，选择“集群 > 服务 > HBase > 配置”，配置以下相关参数以提升HBase数据读写性能调优。 JVM GC参数 RegionServer GC_OPTS参数设置建议：
erver的节点的业务平面IP地址。HiveServer业务平面IP地址可登录FusionInsight Manager，选择“集群 > 服务 > Hive > 实例”查看。 执行以下命令运行Python客户端： cd python-examples python pyCLI_nosec
默认规格（默认平均每个regionserver上region的个数，即2000），则调整方案为（实际规格 / 默认规格）* 默认时间。 在服务端的“hbase-site.xml”文件中配置splitlog参数，如表1所示。 表1 splitlog参数说明 参数 描述 默认值 hbase
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
