检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
nagerRestart.html MRS 3.2.0及之后版本:https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html 可以通过如下方式启用Work-preserving
nagerRestart.html MRS 3.2.0及之后版本:https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html 可以通过如下方式启用Work-preserving
SNMP添加trap目标 SNMP删除trap目标 SNMP检查告警 SNMP同步告警 创建阈值模板 删除阈值模板 应用阈值模板 保存集群监控配置数据 导出配置数据 导入集群配置数据 导出安装模板 修改阈值模板 取消阈值模板应用 屏蔽告警 发送告警 修改OMS数据库密码 重置组件数据库密码 重启OMM和Controller
MRS集群用户 例如:kinit -kt /opt/user.keytab hdfsuser 执行HDFS SHELL命令。 HDFS SHELL 操作格式:hadoop fs <args> 直接输入命令即可。例如: 查看对应目录下内容 hadoop fs -ls /tmp/input/ 创建目录
io/docs/current/installation/deployment.html或https://trino.io/docs/current/installation/deployment.html。 父主题: 组件介绍
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标,提供用户一种更简单的方法去创建新的展示和监控的工具,并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Sta
uence file文件格式。 “BINARY_FILE”:以二进制流的方式导入文件,可以导入任何格式的文件。 压缩格式 在下拉菜单中选择数据导出到HDFS/OBS后保存文件的压缩格式,未配置或选择NONE表示不压缩数据。 自定义压缩格式 自定义压缩格式类型的名称。 generic-jdbc-connector
mpala支持的数据类型请参考http://impala.apache.org/docs/build3x/html/topics/impala_datatypes.html。 此外,Impala还支持C++编写的UDF,性能上比Java UDF更好。 使用示例 以下为复用lower()函数的示例。
WebUI查看应用程序运行情况。 通过Spark日志获取应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。 结果数据存储路径和格式已经由Spark应用程序指定,可通过指定文件获取。 查看Spark应用程序运行情况。 Spark主要有两个Web页面。 Spark UI页面,用于展示正在执行的应用的运行情况。
li.html和https://prestodb.io/docs/current/security/cli.html。 执行Query语句,如“show catalogs;”,更多语句请参阅https://prestodb.io/docs/current/sql.html。 启用
进行广播操作,对表有要求: 至少有一个表不是空表; 表不能是“external table”; 表的储存方式需为textfile(默认是textfile文件格式),如 create table A( name string ) stored as textfile; 或: create table
uence file文件格式。 “BINARY_FILE”:以二进制流的方式导入文件,可以导入任何格式的文件。 压缩格式 在下拉菜单中选择数据导出到HDFS/OBS后保存文件的压缩格式,未配置或选择NONE表示不压缩数据。 自定义压缩格式 自定义压缩格式类型的名称。 generic-jdbc-connector
“TEXT_FILE”:导入文本文件并保存为文本文件。 “SEQUENCE_FILE”:导入文本文件并保存在sequence file文件格式。 “BINARY_FILE”:以二进制流的方式导入文件,可以导入任何格式的文件,不对文件做任何处理。 说明: 文件类型选择“TEXT_FILE”或“SEQUENCE_FILE
WebUI查看应用程序运行情况。 通过Spark日志获取应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。 结果数据存储路径和格式已经由Spark应用程序指定,可通过指定文件获取。 查看Spark应用程序运行情况。 Spark主要有两个Web页面。 Spark UI页面,用于展示正在执行的应用的运行情况。
Iceberg Iceberg原理介绍 Iceberg是一种开放的数据湖表格式,可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段,若需使用需联系技术支持申请白名单开通。 当前版本Iceberg仅支持Spark引擎,如需使用其他引擎构建数据湖服务,请使用Hudi。
进行作业配置。 新建Flink SQL作业 在作业开发界面进行作业开发。 可以单击上方“语义校验”对输入内容校验,单击“SQL格式化”对SQL语句进行格式化。 作业SQL开发完成后,请参考表1设置基础参数,还可根据需要设置自定义参数,然后单击“保存”。 表1 基础参数 参数名称 参数描述
手动导出IoTDB数据 操作场景 该任务指导用户使用“export-csv.sh”将数据从IoTDB导出为CSV格式的文件。 导出CSV格式的数据文件,可能存在注入风险,请谨慎使用。 前提条件 已安装客户端,请参见。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
Spark应用程序运行完成后,您可以查看运行结果数据,也可以通过Spark WebUI查看应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。 结果数据存储路径和格式已经与Spark应用程序指定,您可以通过指定文件中获取到运行结果数据。 查看Spark应用程序运行情况。 Spark主要有两个Web页面。
Mode.html#Data_Encryption_on_RPC MRS 3.2.0及之后版本:https://hadoop.apache.org/docs/r3.3.1/hadoop-project-dist/hadoop-common/SecureMode.html#Data_Encryption_on_RPC
“TEXT_FILE”:导入文本文件并保存为文本文件。 “SEQUENCE_FILE”:导入文本文件并保存在sequence file文件格式。 “BINARY_FILE”:以二进制流的方式导入文件,可以导入任何格式的文件,不对文件做任何处理。 说明: 文件类型选择“TEXT_FILE”或“SEQUENCE_FILE