检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色客户端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图1 选择配置工具 “Agent名”选择“client”,然后选择要使用
产生告警的主机名。 对系统的影响 如果没有将元数据备份到第三方服务器,当集群主备管理节点同时故障且本地备份数据丢失时,若想要通过备份包恢复集群元数据则没有可用的备份包数据无法恢复。 可能原因 元数据未配置周期备份到第三方服务器任务。 处理步骤 查看元数据是否配置周期备份。 在FusionInsight
插入ClickHouse数据 本章节介绍插入ClickHouse数据样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类中。 创建ClickHouse表创建的表具有三个字段,分别是String、UInt8和Date类型。 String insertSql
插入ClickHouse数据 本章节介绍插入ClickHouse数据样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类中。 创建ClickHouse表创建的表具有三个字段,分别是String、UInt8和Date类型。 String insertSql
)发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb.examples包的"OpentsdbExample"类的putData方法中。 private void putData(String tmpURL) {
个文件中的记录总数约为130K。 默认值(60000)大约是此近似值的一半。 注意: 将此值设置的太低,将产生很多误报,并且索引查找将必须扫描比其所需的更多的文件;如果将其设置的非常高,将线性增加每个数据文件的大小(每50000个条目大约4KB)。 60000 hoodie.index
重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。 修改并行度。 优化数据结构 把数据按列存放,读取数据时就可以只扫描需要的列。 使用Hash Shuffle时,通过设置spark.shuffle.consolidateFiles为true,来合并shuf
Spark提供了超过80种的操作符来帮助用户组建并行程序。 普遍性:Spark提供了众多的工具,例如Spark SQL和Spark Streaming。可以在一个应用中,方便地将这些工具进行组合。 与Hadoop集成:Spark能够直接运行于Hadoop的集群,并且能够直接读取现存的Hadoop数据。
Spark应用开发常用概念 准备开发环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。 请参考准备Spark应用Java开发环境至准备Spark应用Python开发环境章节 准备运行环境
配置HBase全局二级索引提升查询效率 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 使用Spark BulkLoad工具同步数据到HBase表中 配置HBase冷热分离 配置RSGroup管理RegionServer资源 查看HBase慢请求和超大请求信息
客户端软件包下载完成后,以root用户登录集群的主OMS节点,复制安装包到指定节点。 客户端软件包默认下载至集群的主OMS节点(可通过FusionInsight Manager的“主机”界面查看带有标识的节点),如需要在集群内其他节点上安装,执行以下命令将软件包传输至其他节点,否则本步骤可忽略。 cd /
重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。 修改并行度。 优化数据结构 把数据按列存放,读取数据时就可以只扫描需要的列。 使用Hash Shuffle时,通过设置spark.shuffle.consolidateFiles为true,来合并shuf
重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。 修改并行度。 优化数据结构 把数据按列存放,读取数据时就可以只扫描需要的列。 使用Hash Shuffle时,通过设置spark.shuffle.consolidateFiles为true,来合并shuf
Admin的deleteTable方法来删除表。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropTable方法中。 public void dropTable() { LOG.info("Entering
Admin的deleteTable方法来删除表。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropTable方法中 public void dropTable() { LOG.info("Entering
把查询请求发送到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb.examples包的"OpentsdbExample"类的queryData方法中。 private void queryData(String dataPoint)
Admin的deleteTable方法来删除表。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropTable方法中。 public void dropTable() { LOG.info("Entering
Admin的deleteTable方法来删除表。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的dropTable方法中 public void dropTable() { LOG.info("Entering
在具有HIndexes的用户表中,HBase使用Filter来查询数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HIndexExample”类的scanDataByHIndex方法中。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例:
cipher.list”配置项的值,否则以HTTPS访问不了Yarn。单击“保存”,单击“确定”,保存完成后重启该服务。 TLSv1协议存在安全漏洞,请谨慎使用。 操作步骤 获取运行在Yarn上的任务的具体信息。 命令: curl -k -i --negotiate -u : "htt