检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数 打开Tableau。 选择“到服务器 > 其他数据库(JDBC)”,输入URL和已创建的“人机”用户的用户名及密码,单击“登录”。 支持HSFabric方式和HSBroker方式连接,URL格式详情可参考表1。 图2 使用Tableau访问HetuEngine 登录成功后,
输出:Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式(目前支持四种格式:CSV、ORC、RC和PARQUET)。 说明: PARQUET格式是一种列式存储格式,PARQUET要求Loader的输出字段名和Hive表中的字段名保持一致。
单击“取消屏蔽”后在弹出的对话框中单击“确定”,修改告警的屏蔽状态为“显示”。 配置告警屏蔽及告警平滑次数 该操作仅适用MRS 3.5.0及之后版本集群。 MRS支持在后台配置告警屏蔽状态和平滑次数,告警产生次数小于等于平滑次数时不上报告警信息。 使用PuTTY工具,以omm用户登录主OMS节点。 执行
串标记的序列。 窗口能力 窗口分为跳跃窗口和滑动窗口。 支持Window、TimeWindow、CountWindow以及WindowAll、TimeWindowAll、CountWindowAll API窗口生成。 支持Window Apply、Window Reduce、Window
获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 配置HDFS作为Alluxio的底层文件系统 开启Kerberos认证的安全集群不支持该功能。 请参考修改集群服务配置参数,进入Alluxio的“全部配置”页面。 在左侧边栏中选择“Alluxio > 底层存储系统”,修改参数“alluxio
为keytab文件和krb5.conf文件。具体使用方法在样例代码的“README.md”中会有详细说明。 安全认证主要采用代码认证方式。支持Oracle JAVA平台和IBM JAVA平台。 以下代码在“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。
串标记的序列。 窗口能力 窗口分为跳跃窗口和滑动窗口。 支持Window、TimeWindow、CountWindow以及WindowAll、TimeWindowAll、CountWindowAll API窗口生成。 支持Window Apply、Window Reduce、Window
串标记的序列。 窗口能力 窗口分为跳跃窗口和滑动窗口。 支持Window、TimeWindow、CountWindow以及WindowAll、TimeWindowAll、CountWindowAll API窗口生成。 支持Window Apply、Window Reduce、Window
串标记的序列。 窗口能力 窗口分为跳跃窗口和滑动窗口。 支持Window、TimeWindow、CountWindow以及WindowAll、TimeWindowAll、CountWindowAll API窗口生成。 支持Window Apply、Window Reduce、Window
取值范围: 不涉及 默认取值: 不涉及 tracking_url String 参数解释: 日志链接地址。当前仅SparkSubmit作业支持该参数。该参数基于集群的EIP访问集群中的YARN WebUI页面,用户如果在VPC界面解绑EIP,MRS服务侧数据会因为未更新导致该参数
待创建的MRS集群名称。 集群类型 自定义 根据实际业务需要选择待创建的MRS集群类型。 “自定义”类型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 版本类型 普通版 待创建的MRS集群版本类型。 集群版本 MRS 3.1.5 待创建的MRS集群版本,不同版本所包含的开源组
快速配置参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配,以下参数需要根据使用场景进行调整。以下参数除特别指出外,一般在Spark2x客户端的“spark-defaults.conf”文件中配置。
配置MRS集群安全通信授权 MRS集群通过管理控制台为用户发放、管理和使用大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 若不
计算结果,并进行打印。 方案架构 Spark Streaming是一种构建在Spark上的实时计算框架,扩展了Spark处理大规模流式数据的能力。当前Spark支持两种数据处理方式:Direct Streaming和Receiver。 Direct Streaming方式主要通过采用Direct API对数据进行处理。以Kafka
查询和分析。 Hive主要特点如下: 海量结构化数据分析汇总。 将复杂的MapReduce编写任务简化为SQL语句。 灵活的数据存储格式,支持JSON、CSV、TEXTFILE、RCFILE、SEQUENCEFILE、ORC等存储格式。 Hive作为一个基于HDFS和MapRed
索引,以实现该场景下的秒级响应。通常这类数据量比较庞大,用户可能保存1至3年的数据。 例如在车联网行业,某车企将数据储存在HBase中,以支持PB级别的数据存储和毫秒级的数据详单查询。 图2 车联网行业海量数据存储场景 该场景下MRS的优势如下所示。 实时:利用Kafka实现海量汽车的消息实时接入。
[format_as] [properties] file_path format_as properties format_as:表示指定导出格式,支持CSV、PARQUET、CSV_WITH_NAMES、CSV_WITH_NAMES_AND_TYPES、ORC,默认为CSV。 示例 导出到HDFS
hdfs.server.namenode.ha.BlackListingFailoverProxyProvider”, 可使用从NameNode支持读的特性。 org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider
是,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行4。 否,单击“确定”指定本地的保存位置,开始下载完整客户端,等待下载完成,然后执行4。
填写“新密码”和“确认新密码”,单击“确定”。 默认密码复杂度要求: 密码字符长度最小为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为`~!@#$%^&*()-_=+|[{}];',<.>/\?。 不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码。