检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到JavaSerializer的10倍以上，
Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到JavaSerializer的10倍以上，
Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到JavaSerializer的10倍以上，
JDK，不支持在Windows环境中直接运行应用程序。 需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址映射，主机名和公网IP地址请保持一一对应。 在本地Windows环境中调测HBase应用 单击IDEA右边Maven窗口的“Reimport All Maven Projec
当前路径下不存在“huawei”目录。 执行图1中的命令创建以“huawei”为名的目录。其中，用1中查找到的主机名或IP和端口分别替代命令中的<HOST>和<PORT>，在<PATH>中输入想要创建的目录“huawei”。 用主机名或IP代替<HOST>都是可以的，要注意HTTP和HTTPS的端口不同。 执行下列命令访问HTTP：
当合并SummingMergeTree表的数据片段时，ClickHouse会把所有具有相同主键的行进行汇总，将同一主键的行替换为包含sum后的一行记录。 如果主键的组合方式使得单个键值对应于大量的行，则可以显著地减少存储空间并加快数据查询的速度。 AggregatingMergeTree
一般情况下，建议就近选择靠近您或者您的目标用户的区域，可以减少网络时延，提高访问速度。但在基础设施、BGP网络品质、资源的操作与配置等方面，同一个国家各个区域间区别不大，如果您或者您的目标用户在同一个国家，可以不用考虑不同区域造成的网络时延问题。 在除中国大陆以外的亚太地区的用户，可以选择“中国
JDK，不支持在Windows环境中直接运行应用程序。 需要在运行样例代码的本机hosts文件中设置访问节点的主机名和IP地址映射，主机名和IP地址请保持一一对应。 在本地Windows环境中调测HBase应用 单击IDEA右边Maven窗口的“Reimport All Maven Projects
changelog与CDC格式的数据类似，只不过存储的方式不同，CDC格式数据会将更新前和更新后的数据在一行记录，而changelog数据会将更新数据拆分成两行，一行是对更新前数据的删除操作，一行是更新后的数据插入操作记录。Flink在计算的时候会将基于更新数据的聚合结果删除，再将基于更新后数据的计算结果插入。ch
lume内建拦截器的类名列表，也可以开发自定义的拦截器来实现Event的修改或丢弃。Flume内建支持的拦截器如下表所示，本章节会选取一个较为复杂的作为示例。其余的用户可以根据需要自行配置使用。 拦截器用在Flume的Source、Channel之间，大部分的Source都带有I
--指定bulk_insert写入时的并行度，等于写入完成后保存的分区parquet文件数。 insert into dsrTable select * from srcTabble 开启log列裁剪，提升mor表查询效率 mor表读取的时候涉及到Log和Parquet的合并，性能不是很理想。
dfs.json”。 作业模板中包含了连接器的配置信息。创建、更新连接器时，实际上仅调用到作业模板中的连接器的信息。 使用场景 不同的连接器或作业的配置项不同。 更新个别配置项时，使用参数选项方式。 创建连接器或作业时，使用作业模板方式。 本工具目前支持FTP、HDFS、JDBC
dfs.json”。 作业模板中包含了连接器的配置信息。创建、更新连接器时，实际上仅调用到作业模板中的连接器的信息。 使用场景 不同的连接器或作业的配置项不同。 更新个别配置项时，使用参数选项方式。 创建连接器或作业时，使用作业模板方式。 本工具目前支持FTP、HDFS、JDBC
Oozie任务运行需要依赖Share Lib中的原生Jar包，Share Lib由Oozie内核启动时自动上传到HDFS的“/user/oozie”目录下，当HDFS上的Share Lib损坏、缺失或Jar包冲突可能导致Oozie任务运行失败。 当用户提交的Oozie作业运行失败时，可以通过该工具对Share
FS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤
FS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤
获取Hive数据源的代理用户的“user.keytab”和“krb5.conf”文件。 登录Hive数据源所在集群的FusionInsight Manager页面。 选择“系统 > 权限 > 用户”。 选择对应的数据源用户，在“操作”列中选择“更多 > 下载认证凭据”。 从下载的文件中解压后获取“user
在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”和“conf”。将样例工程中“lib”的Jar包导出，导出步骤请参考3，以及1导出的Jar包，上传到Linux的“lib”目录。将样例工程中“conf”的配置文件上传到Linux中“conf”目录。 在“/opt/test”根目录新建脚本“run
Streaming提供的抽象概念。 DStream表示一个连续的数据流，是从数据源获取或者通过输入流转换生成的数据流。从本质上说，一个DStream表示一系列连续的RDD。RDD一个只读的、可分区的分布式数据集。 DStream中的每个RDD包含了一个区间的数据。如图4所示。 图4 DStream与RDD关系
设计时应避免HBase随机查找、排序的应用场景。 业务表设计建议 预分Region，使Region分布均匀，提高并发 避免过多的热点Region。根据应用场景，可考虑将时间因素引入Rowkey。 同时访问的数据尽量连续存储。同时读取的数据相邻存储；同时读取的数据存放在同一行；同时读取的数据存放在同一cell。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
