检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载。 支持与MapRe
ition接口将数据并发写入HBase中。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中
et tablet) 测试insertTablet,不实际写入数据,只将数据传输到server即返回。 父主题: IoTDB开发指南(安全模式)
准备IoTDB应用开发环境 准备本地应用开发环境 准备连接IoTDB集群配置文件 导入并配置IoTDB样例工程 父主题: IoTDB开发指南(普通模式)
HDFS应用开发常见问题 HDFS常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问安全模式集群HDFS 父主题: HDFS开发指南(安全模式)
e,将上面生成的RDD写入HBase表中。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中
准备本地应用开发环境 准备连接IoTDB集群配置文件 导入并配置IoTDB样例工程 配置IoTDB应用安全认证 父主题: IoTDB开发指南(安全模式)
创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题: ClickHouse开发指南(普通模式)
创建HDFS目录 功能简介 创建目录过程为: 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档:http://hadoop
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档:http://hadoop
下命令均在“$SPARK_HOME”目录执行,Java接口对应的类名前有Java字样,请参考具体样例代码进行书写。 yarn-client模式: java/scala版本(类名等请与实际代码保持一致,此处仅为示例) bin/spark-submit --master yarn --deploy-mode
cala应用提供Spark的各种功能,如连接Spark集群,创建RDD等。 SparkConf:Spark应用配置类,如设置应用名称,执行模式,executor内存等。 RDD(Resilient Distributed Dataset):用于在Spark应用程序中定义RDD的类
在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题: MapReduce开发指南(普通模式)
在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题: MapReduce开发指南(安全模式)
执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以下命令,获取Flink集群container信息。 yarn logs
导入并配置ClickHouse事务样例工程 导入并配置ClickHouse springboot样例工程 父主题: ClickHouse开发指南(安全模式)
导入并配置ClickHouse事务样例工程 导入并配置ClickHouse springboot样例工程 父主题: ClickHouse开发指南(普通模式)
创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题: ClickHouse开发指南(安全模式)
配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务,需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码,确保HDFS程序能够正常运行。 安全认证有两种方式: 命令行认证: 提交HDFS应用程序运行前,在HDFS客户端执行如下命令进行认证。 kinit