-
Oozie应用开发简介 - MapReduce服务 MRS
在安全模式下,应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 父主题: Oozie开发指南(安全模式)
-
调测Hive Python样例程序 - MapReduce服务 MRS
'type': 'STRING_TYPE'}] ['xx'] 如果出现如下异常: importError: libsasl2.so.2: cannot open shared object file: No such file or directory 请按照以下方式处理
-
CREATE TABLE AS SELECT - MapReduce服务 MRS
primaryKey = 'id', preCombineField = 'ts' ) partitioned by (datestr) as select * from parquet_mngd; 注意事项 为了更好的加载数据性能,CTAS使用bulk insert作为写入方式
-
Flink应用开发简介 - MapReduce服务 MRS
Flink DataStream API提供Scala和Java两种语言的开发方式,如表1所示。 表1 Flink DataStream API接口 功能 说明 Scala API 提供Scala语言的API,提供过滤、join、窗口、聚合等数据处理能力。
-
Hive应用开发样例工程介绍 - MapReduce服务 MRS
使用HCatalog接口实现通过Hive命令行方式对MRS Hive元数据进行数据定义和查询操作,相关样例介绍请参见HCatalog访问Hive样例程序。 hive-examples/python-examples 使用Python连接Hive执行SQL样例。
-
Spark SQL在不同DB都可以显示临时表 - MapReduce服务 MRS
--------+--+ 2 rows selected (0.109 seconds) 0: jdbc:hive2://192.168.169.84:22550/default> 回答 Spark的表管理层次如图1所示,最底层是Spark的临时表,存储着使用DataSource方式的临时表
-
Kafka应用开发流程介绍 - MapReduce服务 MRS
也可通过Linux客户端进行Topic数据消费的方式查看数据是否写入成功。 调测Kafka应用 父主题: Kafka应用开发概述
-
初始化HDFS - MapReduce服务 MRS
设置运行用户有两种方式,添加环境变量HADOOP_USER_NAME或者修改代码。 添加环境变量HADOOP_USER_NAME:可参考调测HDFS应用。 修改代码:在没有设置HADOOP_USER_NAME的场景下,直接修改代码中的USER。如下所示。
-
Hive应用开发样例工程介绍 - MapReduce服务 MRS
使用HCatalog接口实现通过Hive命令行方式对MRS Hive元数据进行数据定义和查询操作,相关样例介绍请参见HCatalog访问Hive样例程序。 hive-examples/python-examples 使用Python连接Hive执行SQL样例。
-
SQL和DataFrame - MapReduce服务 MRS
执行复杂SQL语句时报“Code of method ... grows beyond 64 KB”的错误 在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 连上不同的JDBCServer,function不能正常使用 用add jar方式创建
-
IoTDB应用开发流程介绍 - MapReduce服务 MRS
导入并配置IoTDB样例工程 根据业务场景开发程序 提供了Java语言的样例工程,包含JDBC和Session两种连接方式,从创建存储组、创建时间序列,到插入数据再到删除存储组全流程的样例工程。 开发IoTDB应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。
-
Oozie应用开发简介 - MapReduce服务 MRS
在安全模式下,应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 父主题: Oozie开发指南(普通模式)
-
HDFS应用开发建议 - MapReduce服务 MRS
不适用HDFS场景可以考虑使用其他方式来存储数据,如HBase。 HDFS不适用于存储大量小文件 HDFS不适用于存储大量的小文件,因为大量小文件的元数据会占用NameNode的大量内存。
-
下载MRS客户端 - MapReduce服务 MRS
在“登录方式”选择“密码”或“SSH私钥”。 密码:输入创建集群时设置的root用户密码。 SSH私钥:选择并上传创建集群时使用的密钥文件。 图1 下载客户端 单击“确定”开始生成客户端文件。 若界面显示以下提示信息表示客户端包已经成功保存。单击“关闭”。
-
节点自定义引导操作 - MapReduce服务 MRS
如果集群扩容,选择执行引导操作,则引导操作也会以相同方式在新增节点上执行。MRS会使用root用户执行用户指定的脚本,脚本内部可以通过su - xxx命令切换用户。 客户价值 MRS提供了自定义引导操作,用户可以灵活、便捷地配置自己的专属集群,自定义安装软件。 父主题: 产品功能
-
Datasource表优化 - MapReduce服务 MRS
250 * 1024 * 1024 spark.sql.hive.convertMetastoreOrc 设置ORC表的处理方式: false:Spark SQL使用Hive SerDe处理ORC表。 true:Spark SQL使用Spark内置的机制处理ORC表。
-
SQL和DataFrame - MapReduce服务 MRS
执行复杂SQL语句时报“Code of method ... grows beyond 64 KB”的错误 在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 连上不同的JDBCServer,function不能正常使用 用add jar方式创建
-
Spark SQL在不同DB都可以显示临时表 - MapReduce服务 MRS
--------+--+ 2 rows selected (0.109 seconds) 0: jdbc:hive2://192.168.169.84:22550/default> 回答 Spark的表管理层次如图1所示,最底层是Spark的临时表,存储着使用DataSource方式的临时表
-
Datasource表优化 - MapReduce服务 MRS
250 * 1024 * 1024 spark.sql.hive.convertMetastoreOrc 设置ORC表的处理方式: false:Spark SQL使用Hive SerDe处理ORC表。 true:Spark SQL使用Spark内置的机制处理ORC表。
-
Loader作业目的连接配置说明 - MapReduce服务 MRS
导入方式 支持BULKLOAD、PUTLIST两种方式导入数据到HBase表。 导入前清空数据 标识是否需要清空目标HBase表中的数据,支持以下两种类型: True:清空表中的数据。 False:不清空表中的数据,选择False时如果表中存在数据,则作业运行会报错。