检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/user/test 文件格式 文件导出类型: “TEXT_FILE”:导入文本文件并保存为文本文件。 “SEQUENCE_FILE”:导入文本文件并保存在“sequence file”文件格式。 “BINARY_FILE”:以二进制流的方式导入文件,可以导入任何格式的文件。 TEXT_FILE
/user/test 文件格式 文件导出类型: “TEXT_FILE”:导入文本文件并保存为文本文件。 “SEQUENCE_FILE”:导入文本文件并保存在“sequence file”文件格式。 “BINARY_FILE”:以二进制流的方式导入文件,可以导入任何格式的文件。 TEXT_FILE
STRING); 建表时配置Hive数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hive优化的文件格式。RCFile优化了列存储,在对大表进行查询时,综合
单击“实例”,勾选“TezUI”角色,选择“更多 > 重启实例”,输入用户密码后,在弹出窗口单击“确定”。 等待实例重启完成,配置生效。 日志格式 Tez的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线
EXISTS traffic; 创建一个新表orders,使用子句with指定创建表的存储格式、存储位置、以及是否为外表: --创建一个新表orders,使用子句with指定创建表的存储格式、存储位置、以及是否为外表 CREATE TABLE orders ( orderkey
HDFS连接中的“hdfs_link”。 源目录或文件:待迁移数据的目录或单个文件路径。 文件格式:传输数据时所用的文件格式,这里选择“二进制格式”。不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 其他可选参数一般情况下保持默认即可,详细说明请参见配置HDFS源端参数。
在右侧选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 重新启动配置过期的服务或实例以使配置生效。 日志格式 Hue的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <dd-MM-yy HH:mm:ss,SSS><日志事件的发生位置><log level><log中的message>
个字段终点开始,以此类推。 字段名:配置输入字段名。 类型:配置字段类型。 数据格式:字段类型为“DATE”或“TIME”或“TIMESTAMP”时,需指定特定时间格式,其他字段类型指定无效。时间格式如:“yyyyMMdd HH:mm:ss”。 长度:配置字段长度,字段值实际长度
单击“实例”,勾选“TezUI”角色,选择“更多 > 重启实例”,输入用户密码后,在弹出窗口单击“确定”。 等待实例重启完成,配置生效。 日志格式 Tez的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线
安装使用集群外客户端时,连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql创建Hudi表或者Hive表,未插入数据前,查询表统计信息为空 建表语句分区列为timestamp时,使用非标准格式的时间指定分区查询表统计失败 SQL语法兼容TIMESTAMP/DATE特殊字符
前提条件 已在Linux环境中安装了完整客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://oozie实例业务IP:21003/oozie。可登录FusionInsight Manager,选择“集群 > 服务
在右侧选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 重新启动配置过期的服务或实例以使配置生效。 日志格式 Hue的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <dd-MM-yy HH:mm:ss,SSS><日志事件的发生位置><log level><log中的message>
问题现象 Hive查询结果表做压缩存储(ARC4),对结果表做select * 查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。 解决方案 在select结果乱码时,在beeline中进行如下设置。 set mapreduce.output
选择所需修改的日志级别。 单击“保存”,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 ZooKeeper的日志格式如下所示: 表3 日志格式 日志类型 组件 格式 示例 运行日志 zookeeper quorumpeer <yyyy-MM-dd HH:mm:ss
个字段终点开始,以此类推。 字段名:配置输入字段名。 类型:配置字段类型。 数据格式:字段类型为“DATE”或“TIME”或“TIMESTAMP”时,需指定特定时间格式,其他字段类型指定无效。时间格式如:“yyyyMMdd HH:mm:ss”。 长度:配置字段长度,字段值实际长度
选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后即生效,不需要重启服务。 日志格式 Flume的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level><产生该日志的
encoding”区域,选中“Other”,并设置参数值为“UTF-8”,单击“Apply”, 如图 2 设置Eclipse的编码格式所示。 图2 设置Eclipse的编码格式 3.在左边导航上选择“Maven > User Settings”, 在“User Settings”中单击“Bro
bigdata.hive.example包下的HCatalogExample类,为HCatalog接口样例代码 设置Eclipse的文本文件编码格式,解决乱码显示问题。 在Eclipse的菜单栏中,选择“Window > Preferences”。弹出“Preferences”窗口。 在左边导航上选择“General
选择所需修改的日志级别。 单击“保存”,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 ZooKeeper的日志格式如下所示: 表3 日志格式 日志类型 组件 格式 示例 运行日志 zookeeper quorumpeer <yyyy-MM-dd HH:mm:ss
“文件格式”填写业务数据文件的类型。 可参见obs-connector。 在“至”填写目的连接参数。 在“定入目录”填写业务数据在HDFS要保存的目录名称。 如果是启用Kerberos认证的集群,当前访问Loader的用户对保存数据的目录需要有写入权限。 在“文件格式”填写业务数据文件的类型。