检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive输入 概述 “Hive输入”算子，将Hive表的指定列转换成同等数量的输入字段。 输入与输出 输入：Hive表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名
“Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String 否 default
“Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String 否 default
Hive输入 概述 “Hive输入”算子，将Hive表的指定列转换成同等数量的输入字段。 输入与输出 输入：Hive表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名
数据处理规则 当配置HBase表名不存在时，作业提交失败。 当配置的列名与HBase表列名不匹配时，读取不到数据，导入数据条数会为0。 配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 当字段的值与实际的类型不匹配时，该行数据会成为脏数据。 样例 以HBase导出到sqlserver2014数据库为例。
'table_blocksize'='128'); 上述命令所创建的表的详细信息如下： 表1 表信息定义 参数 描述 productSalesTable 待创建的表的名称。该表用于加载数据进行分析。 表名由字母、数字、下划线组成。 productdb 数据库名称。该数据库将与其中的表保持逻辑连接以便于识别和管理。
'table_blocksize'='128'); 上述命令所创建的表的详细信息如下： 表1 表信息定义 参数 描述 productSalesTable 待创建的表的名称。该表用于加载数据进行分析。 表名由字母、数字、下划线组成。 productdb 数据库名称。该数据库将与其中的表保持逻辑连接以便于识别和管理。
数据处理规则 当配置HBase表名不存在时，作业提交失败。 当配置的列名与HBase表列名不匹配时，读取不到数据，导入数据条数会为0。 配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 当字段的值与实际的类型不匹配时，该行数据会成为脏数据。 样例 以HBase导出到sqlserver2014数据库为例。
Loader操作审计日志（例如：作业的增删改查、用户的登录）。 tomcat日志 catalina.out tomcat的运行日志 catalina. <yyyy-mm-dd >.log tomcat的运行日志 host-manager. <yyyy-mm-dd >.log tomcat的运行日志 localhost_access_log
ce/”（审计日志目录）。 日志归档规则：DBService的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过1MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。 表1 DBService日志列表
提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便了拓扑的部署和提交，缩短了业务开发周期。
度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力。 任务的并行度可以通过以下四种层
子分区中的实时输出缓冲区）反馈来分布，并且可以帮助减轻由子分区之间的不平衡数据分布引起的背压。如果节点之间的往返时间较长和/或群集中的机器数量较多，则应增加此值。 8 否 taskmanager.network.memory.fraction 用于网络缓冲区的JVM内存的占比。这
Catalog”下方的下拉框中选中“schema”，同时在其对应的输入框中输入要授权table所在的schema，如“default”。 在“schema”下方的下拉框中选中“table”，同时在其对应的输入框中输入要授权的目标table。如使用“*”，表示对所有当前schema下的所有table进行授权。
stderr/stdin/syslog Yarn服务上运行的应用所对应的container日志。 yarn-application-check.log Yarn服务上运行的应用检查日志。 yarn-appsummary.log Yarn服务上运行的应用的运行结果日志。 yarn-switch-resourcemanager
0及之后版本）。 日志归档规则：Ranger的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过20MB的时，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”，最多保留最近的20个压缩文件。 表1 Ranger日志列表
HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法： http://hadoop.apache.org/docs/r3.1.1/hadoop-pro
框架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm 0.10.0版本提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm jar命令来提交拓扑的一种方式，极大地方便
tid}” 运行中的任务日志存储在以上路径中，运行结束后会基于YARN的配置是否汇聚到HDFS目录中，详情请参见Yarn常用配置参数。 日志归档规则： MapReduce的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过50MB的时候，会自动压缩，压缩后的日志文件名规则为：
tid}” 运行中的任务日志存储在以上路径中，运行结束后会基于YARN的配置是否汇聚到HDFS目录中，详情请参见Yarn常用配置参数。 日志归档规则： MapReduce的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过50MB的时候，会自动压缩，压缩后的日志文件名规则为：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
