检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
authentication.user 普通模式或者使用密码认证方式时,登录使用的用户。 keytab登录方式,则不需要设置该参数。 authentication.password 安全模式中如果不使用keytab认证,配置访问Loader服务的用户密码加密字符串。 说明: 使用安装客
架,扩展了Spark处理大规模流式数据的能力。当前Spark支持两种数据处理方式:Direct Streaming和Receiver。 Direct Streaming方式主要通过采用Direct API对数据进行处理。以Kafka Direct接口为例,与启动一个Receive
通过ThriftServer实例读HBase表数据 功能简介 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用get和scan进行读数据操作。 代码样例 方法调用 // Get data with single get
keytab文件 存放用户信息的密钥文件。在安全模式下,应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 父主题: Oozie开发指南(普通模式)
authentication.user 普通模式或者使用密码认证方式时,登录使用的用户。 keytab登录方式,则不需要设置该参数。 authentication.password 安全模式中若不使用keytab认证,配置访问Loader服务的用户密码加密字符串。 说明: 使用安装客户
使用Producer API向安全Topic生产消息 功能简介 用于实现Producer API向安全Topic生产消息。 代码样例 以下为用于实现Producer API向安全Topic生产消息的代码片段。 详细内容在com.huawei.bigdata.kafka.example
都可以用Element<tuple,Time>的方式来表示,tuple是元组,包含了数据结构和数据内容,Time就是该数据的逻辑时间。 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。 父主题: Storm应用开发概述
更换NTP服务器前NTP服务器与集群当前时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。 如果NTP服务器与集群当前时间偏差大于15分钟,集群访问OBS会连接失败。 对于开启Kerberos认证集群,如果NTP服务器与集群当前时间偏差大于5分钟,会导致认证失败。
行Balance的时候,Master计算出恰好要转移这个Region,那么,这个Region将无法被关闭,本次转移操作将无法完成(关于这个问题,在当前的HBase版本中的处理的确还欠缺妥当)。 因此,暂时不建议使用该方法关闭一个Region。 采用PutList模式写数据 Table类中提供了两种写数据的接口:
有一个输出算子。 不符合转换规则的数据,将成为脏数据跳过。 从关系型数据库导入数据到HDFS/OBS,可以不用配置数据转换,数据将按“,”分隔保存到HDFS/OBS。 从HDFS/OBS导出数据到关系型数据库,可以不用配置数据转换,数据将按“,”分隔保存到关系型数据库。 算子简介
ple文件: # -*- coding:utf-8 -*- """ 【说明】 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现 """ from py4j.java_gateway import java_import from pyspark
企业项目管理 企业项目是一种云资源管理方式。企业管理提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。
zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置 表1 JobGateway日志列表 日志类型 日志文件名 描述 jobserver运行日志 job-gateway.log 服务运行时的日志 prestart.log 服务预启动日志 availability-check
说明 默认值 影响分析 request.timeout.ms 指定发送消息请求的请求超时时间。单位:毫秒。 30000 请求超时时间,出现网络问题时,需调大此参数;配置过小,则容易出现Batch Expire异常。 表4 Consumer相关超时参数 配置名称 说明 默认值 影响分析
Superior Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:port as SS_REST_SERVER.的形式指示YARN。
配置文件为准备运行环境配置文件获取的“core-site.xml”、“hbase-site.xml”和“hdfs-site.xml”。 还需确保该目录下已存在HBase访问多个ZooKeeper样例程序所需的“zoo.cfg”和“jaas.conf”文件。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ
beeline客户端报错“OutOfMemoryError” 问题背景与现象 beeline客户端查询大量数据时,报OutOFMemoryError:Java heap space,具体报错信息如下: org.apache.thrift.TException: Error in calling
调测Kafka Low Level KafkaStreams API样例程序 在Windows中调测程序 在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main
初始化HDFS 功能简介 在使用HDFS提供的API之前,需要先进行HDFS初始化操作。过程为: 加载HDFS服务配置文件。 实例化Filesystem。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hadoop-examples”工程的“conf”目录。
Node实例,否则可能会导致任务失败,并可能导致JobHistory部分数据丢失。 查看调测结果 Spark应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。 结果数据存储路径和格式已经由Spark应用程序指定,可通过指定文件获取。