检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和参数类型的内置函数。 详情请参见https://impala.apache.org/docs/build/html/topics/impala_langref.html。 父主题: Impala应用开发常见问题
表输入:关系型数据输入步骤,配置数据库的指定列为输入的字段。 HBase输入:HBase表输入步骤,配置HBase表的列定义到指定字段。 HTML输入:HTML网页数据输入步骤,配置获取HTML网页文件目标数据到指定字段。 Hive输入:Hive表输入步骤,配置Hive表的列定义到指定字段。 Spark输
查询时间序列数据,管理元数据和存储数据点。详情请参见:http://opentsdb.net/docs/build/html/api_http/index.html。 父主题: OpenTSDB应用开发概述
Manager.html#NodeManager_Restart MRS 3.2.0及之后版本:https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-site/NodeManager.html#NodeManager_Restart
ManagerCgroups.html MRS 3.2.0及之后版本:https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-site/NodeManagerCgroups.html 由于CGroups为Linu
policy(自定义策略) Manager_viewer default launcher-job 自定义策略以RBAC策略为模板则参考RBAC策略。 自定义策略以细粒度策略为模板则参考细粒度策略,建议使用细粒度策略。 是 为了更方便进行用户权限管理,请尽可能使用细粒度策略,减少RBAC策略的
很常见的。Flink提供了丰富的时间语义。 Event-time:使用事件本身自带的时间戳进行计算,使乱序到达或延迟到达的事件处理变得更加简单。 Watermark:Flink引入Watermark概念,用以衡量事件时间的发展。Watermark也为平衡处理时延和数据完整性提供了
表输入:关系型数据输入步骤,配置数据库的指定列为输入的字段。 HBase输入:HBase表输入步骤,配置HBase表的列定义到指定字段。 HTML输入:HTML网页数据输入步骤,配置获取HTML网页文件目标数据到指定字段。 Hive输入:Hive表输入步骤,配置Hive表的列定义到指定字段。 Spark输
输入算子 CSV文件输入 固定宽度文件输入 表输入 HBase输入 HTML输入 Hive输入 Spark输入 父主题: 算子帮助
ManagerCgroups.html MRS 3.2.0及之后版本:https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-site/NodeManagerCgroups.html 由于CGroups为Linu
提供了大量的调优参数。 图1 Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否足够,一个简单的办法是查看运行完成的job的Counters中,对应的task是否发生过多次GC,以及GC时间占总task运行时间之比。通常,GC时间不应超过task运行时间的10%,即GC
yWithQJM.html MRS 3.2.0及之后版本:https://hadoop.apache.org/docs/r3.3.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 父主题: HDFS
nagerRestart.html MRS 3.2.0及之后版本:https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html 可以通过如下方式启用Work-preserving
nagerRestart.html MRS 3.2.0及之后版本:https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html 可以通过如下方式启用Work-preserving
Loader输入类算子 CSV文件输入 固定宽度文件输入 表输入 HBase输入 HTML输入 Hive输入 Spark输入 父主题: Loader算子帮助
提供了大量的调优参数。 图1 Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否足够,一个简单的办法是查看运行完成的job的Counters中,对应的task是否发生过多次GC,以及GC时间占总task运行时间之比。通常,GC时间不应超过task运行时间的10%,即GC
HBase ACL安全配置 功能简介 访问权限控制,在关系型数据库中是一个已经很成熟的技术,HBase实现了一个较为简单的特性。这些特性归纳为读(R)、写(W)、创建(C)、执行(X)和管理(A)等。在普通模式下,该功能只有在开启HBase权限管理时才支持。 ACL的方法定义在工具类org
partition语句直接删除历史数据 delete/drop partition命令可以用来清理历史数据,具体可以参考Hudi SQL语法参考相关内容。 优点:操作简单,支持cow表和mor表。 缺点:并发能力不足。 当Hudi表处于实时写入状态,并发执行delete/drop partition命令容易导致实时入库作业失败。
乎相同的网页。通过使用这些信息,搜索引擎有效地避免了在搜索结果中显示两个几乎相同的网页。 以下示例展示了如何使用Set Digest函数来简单估计文本之间的相似性。通过使用函数ngrams()将输入文本分割为4-shingles(文本被分成长度为4的连续子序列,每个子序列称为一个
康状态)有Good,Bad,Partially Healthy,Unknown四种状态 ,四种状态除了取决于Hive本身服务的可用性(会用简单的SQL来检测Hive服务的可用性),还取决于Hive服务所依赖的其他组件的服务状态。 Hive实例分为Hiveserver和Metast