检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
程接口。 开发HDFS应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HDFS应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调测HDFS应用 父主题: HDFS开发指南(安全模式)
配置ClickHouse连接属性 建立ClickHouse连接 创建ClickHouse库 创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题: ClickHouse开发指南(普通模式)
口。 开发Spark应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测Spark应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调优程序 您可以根据程序运行情况,对程序进行调优,使其性能满足业务场景诉求。 调优完成后,请重新进行编译和运行。
添加Manager用户 功能介绍 通过访问Manager接口完成添加用户。 代码样例 以下代码片段是添加用户的示例,在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成添加用户 operationName = "AddUser";
删除Manager用户 功能简介 通过访问Manager接口完成删除用户。 代码样例 以下代码片段是删除用户的示例,在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成删除用户 operationName
Oozie样例代码说明 job.properties workflow.xml Start Action End Action Kill Action FS Action MapReduce Action coordinator.xml 父主题: 开发Oozie应用
Flink Kafka样例程序 Flink Kafka样例程序开发思路 Flink Kafka样例程序(Java) Flink Kafka样例程序(Scala) 父主题: 开发Flink应用
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为: 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后,需关闭所申请资源。 代码样例 如下是读文件的代码片段,详细代码请参考com.huawei
创建HDFS多线程任务 功能简介 建立多线程任务,同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2:多线程 final int THREAD_COUNT
通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通过JDBC方式实现查询HetuEngine SQL任务
准备IoTDB应用开发环境 准备本地应用开发环境 准备连接IoTDB集群配置文件 导入并配置IoTDB样例工程 父主题: IoTDB开发指南(普通模式)
准备IoTDB应用开发环境 准备本地应用开发环境 准备连接IoTDB集群配置文件 导入并配置IoTDB样例工程 配置IoTDB应用安全认证 父主题: IoTDB开发指南(安全模式)
level GROUP BY type, level ) Projection的使用 如下SQL查询的时候会走表达式: SELECT type, count() FROM test_projection_table WHERE type =
获取已经同步的IAM用户和用户组 功能介绍 获取已经同步的IAM用户和用户组。 用户可以使用同步之后的IAM用户名登录Manager管理集群。也可以在开启Kerberos认证的集群中,通过界面方式提交作业。 调用方法 请参见如何调用API。 URI GET /v2/{projec
场景一:(import场景)使用sqoop import命令抽取开源postgre到MRS hdfs或hive等。 问题现象: 使用sqoop命令查询postgre表可以,但是执行sqoop import命令倒数时报错: The authentication type 12 is not
sk,] format, [compression]) 执行以下命令查询表。 select * from test1_s3; 修改Manager配置 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。搜索参数项“
报错找不到QueryProvider类 问题 报错找不到QueryProvider类。 回答 搜索mrs客户端目录,将以下两个jar包放入sqoop的lib目录下。 父主题: Sqoop常见问题
集群不能存在被隔离的主机,如果存在,需要先恢复被隔离主机。 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS,会导致MRS Manager页面无法访问,预计持续10-20分钟。
集群不能存在被隔离的主机,如果存在,需要先恢复被隔离主机。 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS,会导致MRS Manager页面无法访问,预计持续10-20分钟。
补丁安装后操作 升级客户端 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级操作。 登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp