检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解释说明 HDFS 文件类型 在下拉菜单中选择数据导入HDFS后保存文件的文件类型。 “TEXT_FILE”:导入文本文件并保存为文本文件。 “SEQUENCE_FILE”:导入文本文件并保存为sequence file文件格式。 “BINARY_FILE”:以二进制流的方式导入文件,可
CSV文件输入 概述 “CSV文件输入”算子,用于导入所有能用文本编辑器打开的文件。 输入与输出 输入:文本文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 分隔符 CSV文件的列分隔符,用于分隔每行的数据。 string 是 , 换行符 用
CSV文件输入 概述 “CSV文件输入”算子,用于导入所有能用文本编辑器打开的文件。 输入与输出 输入:文本文件。 输出:多个字段。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 分隔符 CSV文件的列分隔符,用于分隔每行的数据。 string 是 , 换行符
fields terminated by ',' stored as textfile; 单击 开始执行HiveQL语句。 图1 执行语句 在命令输入框内输入show tables;,单击按钮,查看“结果”中有5创建的表hue_table。 父主题: 使用Hue(MRS 3.x及之后版本)
根据界面提示,在第一个输入框填入ClickHouse表所在的逻辑集群和数据库,需要与当前存在的逻辑集群和数据库完全匹配,例如“/default_cluster/database”。 在第二个框输入正则表达式,支持标准正则表达式。例如要筛选数据库中包含test关键字的所有的表,输入“test.*”。
while compiling statement”。 单击,选择HiveQL语句执行的引擎。 单击 开始执行HiveQL语句。 在命令输入框内输入show tables;,单击按钮,查看结果中有5创建的表hue_table。 父主题: 使用Hue(MRS 3.x之前版本)
导入成功后,com.huawei.bigdata.hive.example包下的HCatalogExample类,为HCatalog接口样例代码 设置Eclipse的文本文件编码格式,解决乱码显示问题。 在Eclipse的菜单栏中,选择“Window > Preferences”。弹出“Preferences”窗口。
Spark Java API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: JavaSparkContext:是Spark的对外接口,负责向调用该类的Java
单击“查询历史记录”,可查看HetuEngine SQL运行情况,支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时,可以在输入框使用关键字进行搜索。 查看执行结果 在“HetuEngine”的执行区,默认显示“查询历史记录”。 单击结果查看已执行语句的执行结果。 H
查看历史: 单击“查询历史记录”,可查看HiveQL运行情况,支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时,可以在输入框使用关键字进行搜索。 查看执行结果 在“Hive”的执行区,默认显示“查询历史记录”。 单击结果查看已执行语句的执行结果。 Hue暂不支持
导入并配置Hive HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的HCatalog接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代
表4 输出设置参数 参数名 说明 示例 文件类型 文件导入后保存的类型: “TEXT_FILE”:导入文本文件并保存为文本文件 “SEQUENCE_FILE”: 导入文本文件并保存在“sequence file”文件格式 “BINARY_FILE”:以二进制流的方式导入文件,可以导入任何格式的文件
框。 选择样例工程文件夹“hdfs-examples”,单击“确定”。 在“Import”窗口单击“Finish”。 设置Eclipse的文本文件编码格式,解决乱码显示问题。 在Eclipse的菜单栏中,选择“Window > Preferences”。 弹出“Preferences”窗口。
解释说明 HDFS 文件类型 在下拉菜单中选择数据导入HDFS后保存文件的文件类型。 “TEXT_FILE”:导入文本文件并保存为文本文件。 “SEQUENCE_FILE”:导入文本文件并保存为sequence file文件格式。 “BINARY_FILE”:以二进制流的方式导入文件,可
查看历史: 单击“查询历史记录”,可查看SparkSql运行情况,支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时,可以在输入框使用关键字进行搜索。 查看执行结果 在“SparkSql”的执行区,默认显示“查询历史记录”。 单击结果查看已执行语句的执行结果。 管理查询语句
单击“Query History”,可查看HiveQL运行情况,支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时,可以在输入框使用关键字进行搜索。 高级查询配置: 单击右上角的,对文件、函数、设置等信息进行配置。 查看快捷键: 单击右上角的,可查看所有快捷键信息。
输入路径 HDFS/OBS中源文件的输入路径。 说明: 路径参数可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。 /user/test 路径过滤器 配置通配符对源文件的输入路径包含的目录进行过滤。“输入路径”不参与过滤。配置多个过滤条件时使用“,”隔开,配置为空时表示不过滤目录。不支持正则表达式过滤。
查看历史: 单击“查询历史记录”,可查看SparkSql运行情况,支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时,可以在输入框使用关键字进行搜索。 查看执行结果 在“SparkSql”的执行区,默认显示“查询历史记录”。 单击结果查看已执行语句的执行结果。 管理查询语句
固定宽度文件输入 概述 “固定宽度文件输入”算子,将文件的每一行,按可配置长度的字符或字节,转换成多个输入字段。 输入与输出 输入:文本文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。
固定宽度文件输入 概述 “固定宽度文件输入”算子,将文件的每一行,按可配置长度的字符或字节,转换成多个输入字段。 输入与输出 输入:文本文件。 输出:多个字段。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况,填写字符串作为换行符。