检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
[1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 “login”方法中的参数“java.security.auth
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除，且无法恢复。所以，执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
创建Storm Bolt 功能介绍 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能：过滤、聚合等等。 如果Bolt之后还有其他拓扑算子，可以使用OutputFieldsDeclarer.declareStream定义Stream，使用OutputCollector
HetuEngine样例程序（Python3） 通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务
创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin
使用Python方式提交数据分析任务，参考样例程序中的“hive-examples/python-examples/pyCLI_sec.py”。该样例程序连接的集群的认证模式是安全模式，运行样例程序之前需要使用kinit命令认证相应权限的Kerberos用户。 导入HAConnection类。 from pyhs2
使用多线程Producer发送消息 功能简介 在使用Producer API向安全Topic生产消息基础上，实现了多线程Producer，可启动多个Producer线程，并通过指定相同key值的方式，使每个线程对应向特定Partition发送消息。 下面代码片段在com.huawei
修改或重置MRS集群admin用户密码 “admin”是Manager的系统管理员账号，建议用户参考修改admin用户密码定期修改密码，提高系统安全性。用户在密码丢失情况可参考重置admin用户密码进行重置。 修改该密码会导致已经下载的用户凭证不可用，请修改该密码后重新下载认证凭据并替换旧凭据。
160:2181/kafka --partitions 5 --replication-factor 1 --topic topic1 安全认证。 安全认证的方式有三种：Kerberos认证、SSL加密认证和Kerberos+SSL模式认证，用户在使用的时候可任选其中一种方式进行认证。
JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。 TaiShan客户端：OpenJDK：支持1.8.0_272版本。 说明： 基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com
truststore.password，前者表示truststore的位置，后者表示truststore密码。 否 说明： 该参数未配置时为非安全Kafka。 如果需要配置SSL，truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。
准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark应用安全认证 配置Spark Python3样例工程 父主题： Spark2x开发指南（安全模式）
加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见创建Hive用户自定义函数。 在启用了安全服务的集群中执行如下操作，需要对涉及的表具有与操作对应的权限。 样例代码 -- 查看薪水支付币种为美元的雇员联系方式. SELECT
打包Storm业务 Linux下打包Storm业务 Windows下打包Storm业务 父主题： 调测Storm应用
删除HDFS指定目录 功能简介 删除HDFS上某个指定目录。 被删除的目录会被直接删除，且无法恢复。所以，执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
HDFS常用API介绍 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 父主题： HDFS应用开发常见问题
创建Doris表 本章节介绍创建Doris表样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群中dbName变量对应的数据库下创建tableName对应的表。 String createTableSql = "create table
删除Doris表 本章节介绍删除Doris表样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQl语句删除集群中的dbName.tableName表。 String dropSql = "drop table " + dbName + "."
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
