检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本，如何让spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端spark2x
通过Java API提交Oozie作业开发思路 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，仅job配置“job
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包（例如自定义udf包）区分x86和TaiShan版本，如何让Spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端Spark2x
配置Flink任务进程参数 优化Flink Netty网络通信参数 Flink作业RocksDB状态后端调优 配置Flink作业状态后端冷热数据分离存储 父主题： 使用Flink
Phoenix是构建在HBase之上的一个SQL中间层，提供一个客户端可嵌入的JDBC驱动，Phoenix查询引擎将SQL输入转换为一个或多个HBase scan，编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site.xml”中配置存放查询
Kafka运维管理 Kafka常用配置参数 Kafka日志介绍 更改Broker的存储目录 迁移Kafka节点内数据 均衡Kafka扩容节点后数据 父主题： 使用Kafka
），如果频繁出现Full GC，需要优化GC。把RDD做Cache操作，通过日志查看RDD在内存中的大小，如果数据太大，需要改变RDD的存储级别来优化。 操作步骤 优化GC，调整老年代和新生代的大小和比例。在客户端的conf/spark-default.conf配置文件中，在spark
CDL组件基于Kafka Connect框架，抓取的数据都是通过kafka的topic做中转，所以首先依赖Kafka组件，其次CDL本身存储了任务的元数据信息和监控信息，这些数据都存储在数据库，因此也依赖DBService组件。 父主题： 组件介绍
Hive性能调优 建立Hive表分区提升查询效率 Hive Join数据优化 Hive Group By语句优化 Hive ORC数据存储优化 Hive SQL逻辑优化 使用Hive CBO功能优化查询效率 父主题： 使用Hive
ResourceManager选举信息。 Active ResourceManager还会在ZooKeeper中创建Statestore目录，存储Application相关信息。当Active ResourceManager产生故障时，Standby ResourceManager会
配额由各个基础服务管理，如需扩大配额，请联系对应服务的技术支持进行扩容： 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
性功能开启后，上述场景处理方式如下。 如果Spark Streaming应用在运行应用时Kafka上topic的offset变小，则会将Kafka上topic最新的offset作为读取Kafka数据的起始位置，继续读取后续的数据。 对于已经生成但未调度处理的任务，如果读取的Kafka
合理地设计表结构、行键、列名能充分利用HBase的优势。本样例工程以唯一编号作为RowKey，列都存储在info列族中。 HBase表以“命名空间:表名”格式进行存储，若在创建表时不指定命名空间，则默认存储在“default”中。其中，“hbase”命名空间为系统表命名空间，请不要对该系统表命名空间进行业务建表或数据读写等操作。
根据已有表创建新表，使用CREATE LIKE句式，完全复制原有的表结构，包括表的存储格式。 根据查询结果创建新表，使用CREATE AS SELECT句式。 这种方式比较灵活，可以在复制原表表结构的同时指定要复制哪些字段，不包括表的存储格式。 目前表名长度最长为128，字段名长度最长为128，字段注解长度最长为4000，WITH
Kafka运维管理 Kafka常用配置参数 Kafka日志介绍 更改Kafka Broker的存储目录 迁移Kafka节点内数据 使用Kafka流控工具限制生产消费速度 配置积压告警规则 父主题： 使用Kafka
Yarn运维管理 Yarn常用配置参数 Yarn日志介绍 配置Yarn本地化日志级别 检测Yarn内存使用情况 更改NodeManager的存储目录 配置Yarn大作业扫描 父主题： 使用Yarn
Index，简称为GSI）。全局二级索引相较于本地索引（HIndex），查询性能更好，适合读时延要求高的场景。 HBase全局二级索引，使用独立的索引表存储索引数据。当给定的查询条件可以命中索引时，可以将对数据表的全表查询转换为对索引表的精确范围查询，提升查询速度。开启全局二级索引特性后，应用侧代码无需特殊修改，简单易用。
DROP COLUMN不支持rctext、rcbinary、rcfile格式存储的表。由于connector对不同文件格式的列访问模式不同，drop column后可能会出现查询失败的情况，例如： 对于orc格式存储的非分区表 ，drop column后如果查询失败，需要设置Session属性：
HDFS样例程序开发思路 初始化HDFS 写HDFS文件 追加HDFS文件内容 读HDFS文件 删除HDFS文件 HDFS Colocation 设置HDFS存储策略 HDFS访问OBS 父主题： HDFS开发指南
Streaming对接Kafka时数据后进先出功能 配置Spark Streaming对接Kafka可靠性 配置Structured Streaming使用RocksDB做状态存储 父主题： 使用Spark/Spark2x
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
