检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
input-file 输入数据文件。 指定输入的文件或者输入的目录，输入的目录中如果存在当前格式则解析，如果不存在则跳过。可以指定本地文件或者目录，也可以指定HDFS/OBS文件或者目录。 input-directory 输入数据文件所在的目录，子文件多个的情况下使用。 例如，执行以下命令排
在splitWAL的过程中，参数“hbase.splitlog.manager.timeout”控制splitWAL的超时时间，如果该时间内splitWAL无法完成，则会再次提交相同的任务，在一定时间内多次提交了相同的任务，当其中某次任务执行完毕时会删除这个temp文件，所以在后来的任务执行
apache.hadoop.hbase.client.Admin的modifyTable方法修改表信息。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testModifyTable方法中 public void
fileInputStream = null; } } 获取ZooKeeper的IP列表和端口、集群的认证模式、HiveServer的SASL配置、HiveServer在ZooKeeper中节点名称、客户端对服务端的发现模式、以及服务端进程认证的principal。这些配置样例代码会自动从“hiveclient
fileInputStream = null; } } 获取ZooKeeper的IP列表和端口、集群的认证模式、HiveServer的SASL配置、HiveServer在ZooKeeper中节点名称、客户端对服务端的发现模式、以及服务端进程认证的principal。这些配置样例代码会自动从“hiveclient
[7] }; [4] Client_new：zoo.cfg中指定的读取配置，当该名称修改时，需要同步修改zoo.cfg中对应配置。 [5] keyTab ：指明工程使用的“user.keytab”在运行样例的主机上的保存路径，使用绝对路径便于更好定位文件位置。在Windows环境
在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在Kafka的客户端目录下获取。 下面代码片段仅为演示，完整代
CLI详细的使用方法参考官方网站的描述：http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示： spark-shell 提供了一个简单学习API的方法，类似于
x对接Kafka 用户问题 通过Python3.x环境如何对接开启Kerberos认证的Kafka集群？ 问题现象 客户想使用Python3.x的环境对接开启Kerberos认证的Kafka的集群。 处理步骤 登录Master节点，执行如下命令，配置华为云欧拉镜像源。 wget http://mirrors
JDBC驱动的加载 客户端程序以JDBC的形式连接Impalad时，需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 所以在客户端程序开始前，必须先使用当前类加载器加载该驱动类。 如果classpath下没有相应的jar包，则客户端程序抛出Class
等特殊数据类型的比对。 数据比对任务不支持数据表字段名包含数据库关键字的表进行数据比对。 数据比对任务单表比较仅支持100个以内的字段进行比较， 如果单表的字段超过一百， 可以分两次指定不同的比较字段的白名单进行数据比对。 当前只支持对从PgSQL抓取到Hudi的数据进行比对，如
对接原理介绍 HDFS创建FileSystem的代码会根据uri的scheme查找对应的实现类，即针对不同底层提供的实现类，在HDFS的配置文件中进行配置，HDFS就会根据fs.AbstractFileSystem.%s.impl创建对应的实现类。如下所示： *Create a file
[1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 “login”方法中的参数“java
下表是四种协议类型的简单说明： 协议类型 说明 支持的API 默认端口 PLAINTEXT 支持无认证的明文访问 新API和旧API 9092 SASL_PLAINTEXT 支持Kerberos认证的明文访问 新API 21007 SSL 支持无认证的SSL加密访问 新API
timeouts 客户端与服务端建立Socket连接超时时，客户端的重试次数。 取值范围：1~256 45 ipc.client.connect.timeout 客户端与服务端建立socket连接的超时时间。增大该参数值，可以增加建立连接的超时时间。 单位：毫秒。取值范围：1~3600000 20000
“/etc/hosts”检查文件的检查标准 通过命令cat /etc/hosts查看是否存在以下几种情况，如果是，则说明该配置文件配置异常。 “/etc/hosts”文件不存在。 该主机的主机名不在文件中配置。 该主机名对应的IP不唯一。 该主机名对应的IP在ipconfig列表中不存在。
假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。 现person表有记录name=1,account=100，表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000元。
sources”目录下的“springclient.properties”文件，按需修改如下表1中提供的参数： 表1 配置说明表 配置名称 含义 principal 准备开发用户时创建的用户名。 user.keytab.path 准备开发用户时创建的用户的认证文件“user.keytab”所在路径。
创建名称为“hive”的Catalog、名称为“default”的数据库，如果实例中已存在则请跳过该步骤。详细操作可参考管理元数据。 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog。 确认左上角实例是新创建的LakeF
数据库模块，存储Client模块的元数据。 FloatIP 浮动IP，对外提供访问功能，只在主DBServer实例上启动浮动IP，Client模块通过该IP访问Database。 Client 使用DBService组件的客户端，部署在组件实例节点上，通过Floatip连接数据库，执行元数据的增加、删除、修改等操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
