检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在数据库“hdb”的“权限”列,勾选“查询”和“建表”。 单击“确定”完成。 在权限管理中,为了方便用户使用,授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。
不包含云服务以外的求助,例如用户基于大数据平台构建的应用系统等。 技术支持范围 支持的服务 MRS云服务管理控制台提供的相关功能: 集群的创建、删除、扩容、缩容 集群作业管理 集群告警管理 集群补丁管理 IAM用户委托管理 对外API接口管理 MRS服务提供的开源大数据组件,其
用户开发大数据应用程序并在支持Kerberos认证的MRS集群中运行程序时,需要准备访问MRS集群的用户认证文件。认证文件中的keytab文件可用于认证用户身份。 该任务指导管理员用户通过Manager下载用户认证文件并导出keytab文件。 修改用户密码后,之前导出的keytab将失效,需要重新导出。
本文档提供给需要Storm二次开发的用户使用。本指南主要适用于具备Java开发经验的开发人员。 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。
LLUP等预聚合带来的查询优势。适合数据有大量更新的场景。对于聚合查询有较高性能需求的用户,推荐使用写时合并实现。 Duplicate适合任意维度的Ad-hoc查询。虽然无法利用预聚合的特性,但是不受聚合模型的约束,可以发挥列存模型的优势。适合不要求数据更新的通用查询场景。 查询模式:
Window API:提供基于窗口的API。 资源调度器:新增基于资源的调度器插件,可以在拓扑定义时指定可使用的最大资源,并且通过配置的方式指定用户的资源配额,从而管理该用户名下的拓扑资源。 State Management:提供带检查点机制的Bolt接口,当事件失败时,Storm会自动管理bolt的状态并且执行恢复。
这两种采样方法都不允许限制结果集返回的行数。 BERNOULLI 每一行都将基于指定的采样率选择到采样表中。当使用Bernoulli方法对表进行采样时,将扫描表的所有物理块并跳过某些行(基于采样百分比和运行时计算的随机值之间的比较)。结果中包含一行的概率与任何其他行无关。这不会减少从磁盘读取采样表所需的时间。
Hue WebUI中Oozie编辑器的时区设置问题 问题 在Hue设置Oozie工作流调度器的时区时,部分时区设置会导致任务提交失败。 回答 部分时区存在适配问题,建议时区选择“Asia/Shanghai”,如图1所示。 图1 时区选择 支持的时区可以参考Oozie WebUI页
> 告警 > 阈值设置 > 待操作集群的名称 > Doris > 队列 > BE的各种定期汇报任务在FE端的队列长度 (FE)”。 单击“平滑次数”后的编辑按钮,根据实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。
8xlarge.2 基于擎天架构的自研极简虚拟化 C7型 64 128 c7.16xlarge.2 基于擎天架构的自研极简虚拟化 C7型 128 256 c7.32xlarge.2 基于擎天架构的自研极简虚拟化 C7型 16 64 c7.4xlarge.4 基于擎天架构的自研极简虚拟化
高频访问的SQL查询和有高耗时的算子(连接, 聚合等算子)的SQL通过建立物化视图进行预计算,然后在查询的SQL中将能匹配到物化视图的查询或者子查询转换为物化视图,避免了数据的重复计算,这种情况下往往能较大地提高查询的响应效率。 物化视图通常基于对数据表进行聚合和连接的查询结果创建。
如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager。然后选择“集群 > 待操作的集群名称 > 服务 > HDFS > 配置 > 全部配置”。
MRS集群中安装的组件能否删除? 问: MRS集群创建成功后,集群中已安装的组件能否删除? 答: 已经创建的MRS 3.1.0及之前版本集群中的组件不可以删除,如果不使用的话可以登录集群Manager页面在服务管理中找到对应的组件将其停止。 MRS 3.1.2-LTS.3及之后版本的自定义
database 将适用该策略的列Hive数据库名称。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。 table 将适用该策略的Hive表名称。 如果需要添加基于UDF的策略,可切换为UDF,然后输入UDF的名称。 “Inclu
pattern [ESCAPE escapeChar] ] 描述 这个表达式用于列出指定schema下的所有表。如果没有指定schema,则默认使用当前所在的schema。 可选参数like被用于基于关键字来进行匹配。 示例 --创建测试表 Create table show_table1(a
HDFS的运行环境即HDFS客户端,请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境 准备工程 HDFS提供了不同场景下的样例程序,可以导入样例工程进行程序学习。 导入并配置HDFS样例工程 根据场景开发工程 提供样例工程,帮助用户快速了解HDFS各部件的编程接口。
HDFS的运行环境即HDFS客户端,请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境 准备工程 HDFS提供了不同场景下的样例程序,可以导入样例工程进行程序学习。 导入并配置HDFS样例工程 根据场景开发工程 提供样例工程,帮助用户快速了解HDFS各部件的编程接口。
Flink对接云搜索服务(CSS)样例程序(Java) 功能介绍 当前基于随机数生成器实现了一个持续产生长度为4字符串的数据源用于写入数据。 样例代码 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.flink.examples。 public class
IntUDF 如果用户添加的Hive UDF注册信息有误,比如错误的格式或者不存在的类路径,系统将忽略这些错误的注册信息,并打印相应日志。 如果用户注册重复的Hive UDF,系统将只注册一次,并忽略重复的注册。 如果用户注册的Hive UDF与系统内部注册的相同,系统将会发生异常并
HDFS接口进行的。 Hive与MapReduce组件的关系 Hive的数据计算依赖于MapReduce。MapReduce也是Apache的Hadoop项目的子项目,它是一个基于Hadoop HDFS分布式并行计算框架。Hive进行数据分析时,会将用户提交的HQL语句解析成相应的MapR