检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive不支持复杂类型字段名称中包含哪些特殊字符 问题 Hive复杂类型字段名称中包含特殊字符,导致建表失败。 回答 Hive不支持复杂类型字段名称中包含特殊字符。 特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。 用户在创建相关字段时,应避免使用相关特殊字符。
API订阅安全Topic并消费 功能简介 用于实现使用Consumer API订阅安全Topic,并进行消息消费。 代码样例 以下为用于实现使用Consumer API订阅安全Topic,并进行消息消费的代码片段。 详细内容在com.huawei.bigdata.kafka.example.Consumer类中。
API订阅安全Topic并消费 功能简介 用于实现使用Consumer API订阅安全Topic,并进行消息消费。 代码样例 以下为用于实现使用Consumer API订阅安全Topic,并进行消息消费的代码片段。 详细内容在com.huawei.bigdata.kafka.example.Consumer类中。
Storm与其他组件的关系 Storm,提供实时的分布式计算框架,它可以从数据源(如Kafka、TCP连接等)中获得实时消息数据,在实时平台上完成高吞吐、低延迟的实时计算,并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示: 图1 组件关系图 Storm和Streaming的关系
stats统计了最近各个不同时间段的算子之间发送数据的总数据量。 Spouts中统计了spout算子从启动到现在发送的消息总量。Bolts中统计了Count算子和split算子的发送消息总量,如图2所示。 图2 Storm应用程序算子发送数据总量 父主题: 调测Storm应用
程序运行正常。 表1 开发环境 准备项 说明 安装JDK 开发环境的基本配置。版本要求:1.7或者1.8。 说明: 基于安全考虑,MRS 服务端只支持TLS 1.1和TLS 1.2加密协议,IBM JDK默认TLS只支持1.0,若使用IBM JDK,请配置启动参数“com.ibm
MRS提供统一的可视化大数据集群管理界面,包括服务启停、配置修改、健康检查等能力,并提供可视化、便捷的集群管理监控告警功能;支持一键式系统运行健康度巡检和审计,保障系统的正常运行,降低系统运维成本。 MRS联合消息通知服务(SMN),在配置消息通知后,可以实时给用户发送MRS集群健康状态,用户可以通过手机短信或邮箱实
MRS集群内节点互信异常如何处理? 当Manager报“ALM-12066 节点间互信失效”告警,或者发现节点间无ssh互信时,可参考如下步骤操作。 分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。 如果没有identities信息,执行ps
安全模式的MRS集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证,提高了安全性,可有效消除使用网络发送用户凭据进行模拟认证的安全风险。集群中由KrbServer服务提供Kerberos认证支持。 Kerberos用户对象 Kerberos协议中,
说明 操作系统 开发环境:Windows系统。 运行环境:Linux系统 安装JDK 开发和运行环境的基本配置。版本要求如下: MRS集群的服务端和客户端仅支持自带的Oracle JDK(版本为1.8),不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的,支持Oracle
开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Linux系统。 安装JDK 开发和运行环境的基本配置。版本要求如下: MRS集群的服务端和客户端仅支持自带的Oracle JDK(版本为1.8),不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的,支持Oracle
操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\hive-examples”目录下的样例工程文
任务运行中查看日志失败。 任务运行完成,但是查看不到日志。 原因分析 问题1:可能原因是MapReduce服务异常。 问题2:可能原因如下: Spark的JobHistory服务异常。 日志太大,NodeManager在做日志汇聚的时候出现超时。 HDFS存放日志目录权限异常(默认
操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码,需要完成下面的操作。 以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 导入jdbc-example样例工程之后,需要将代码中USER_NAME = "xxx"的"xxx"改成在准备MRS应用开发用户阶段创建的开发用户。
开发环境的基本配置。版本要求:1.8及以上。 安装和配置Eclipse 用于开发OpenTSDB应用程序的工具。 网络 确保客户端与OpenTSDB服务主机在网络上互通。 父主题: 准备OpenTSDB应用开发环境
API代码样例及Low level KafkaStreams API代码样例,通过Kafka Streams读取输入Topic中的消息,统计每条消息中的单词个数,从输出Topic消费数据,将统计结果以Key-Value的形式输出,完成单词统计功能。 High Level KafkaStreams
3.9或以上 安装和配置Eclipse或IntelliJ IDEA 用于开发Alluxio应用程序的工具。 网络 确保客户端与Alluxio服务主机在网络上互通。 父主题: 准备Alluxio应用开发环境
MapReduce应用开发环境简介 在进行应用开发时,要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境,用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装Eclipse 开发环境的基本配置。版本要求:4.2。 安装JDK 版本要求:1.8版本。 父主题:
server.port:访问SpringBoot服务端的端口,默认值为“8080”,支持自定义修改。 server.address: SpringBoot服务端启动时绑定的IP地址,默认值为“0.0.0.0”,需要修改为SpringBoot服务部署节点的IP地址。 is.security
开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Linux系统。 安装JDK 开发和运行环境的基本配置。版本要求如下: MRS集群的服务端和客户端仅支持自带的Oracle JDK(版本为1.8),不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的,支持Oracle