检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端目录“/Sqoop/sqoop/lib”下已放置对应JDBC驱动包(例如mysql驱动包mysql-connector-java-5.1.47.jar),并已修改权限和用户组与该目录下其他Jar包保持一致。 sqoop export(HDFS到MySQL) 登录Sqoop客户端所在节点。 执行如下命令初始化环境变量。
hdfs-recover-fsimage.log NameNode元数据恢复日志。 datanode-disk-check.log 集群安装过程和使用过程中磁盘状态检测的记录日志。 hdfs-availability-check.log HDFS服务是否可用日志。 hdfs-backup-fsimage
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
hdfs-recover-fsimage.log NameNode元数据恢复日志。 datanode-disk-check.log 集群安装过程和使用过程中磁盘状态检测的记录日志。 hdfs-availability-check.log HDFS服务是否可用日志。 hdfs-backup-fsimage
配置 > 全部配置”,搜索参数“IOTDB_SERVER_RPC_PORT”获得。 安全模式下,登录IoTDBServer所在节点的用户名和密码由FusionInsight Manager统一控制,参考准备MRS应用开发用户,确保该用户具有操作IoTDB服务的角色权限。 本端域可以在Manager界面,选择“系统
ClickHouse数据批量导入 本章节适用于MRS 3.3.0及之后版本。 操作场景 当同时存在较多待导入的数据文件,用户可以使用多线程导入工具批量导入ClickHouse。 前提条件 已安装ClickHouse客户端,例如客户端安装目录为“/opt/client”。 如果集群
弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”,在“Project Encoding”和“Global Encoding”区域,设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图1所示。 图1 设置IntelliJ
path”中的值为1中新建的OBS文件系统。 将“客户端安装目录/Hive/Beeline/lib”目录下的“hadoop-huaweicloud-*.jar”和“mrs-obs-provider-*.jar”文件复制到“Flume客户端安装目录/fusionInsight-flume-*/lib”目录下,并执行以下命令修改权限:
Spark故障排除 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收,导致此类应用页面访问时出错 加载空的part文件时,app无法显示在JobHistory的页面上
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hive日志列表 日志类型 日志文件名 描述 运行日志 /hiveserver/hiveserver.out HiveServer运行环境信息日志
<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Kafka日志列表 日志类型 日志文件名 描述 运行日志 server.log Broker进程的server运行日志。
into dsrTable select * from srcTabble 开启log列裁剪,提升mor表查询效率 mor表读取的时候涉及到Log和Parquet的合并,性能不是很理想。可以开启log列裁剪减少合并时IO读取开销 SparkSQL执行查询,先执行: set hoodie.enable
TimeStampsOfLastAppliedOp=Wed May 25 17:55:21 CST 2016 同时查看replication source和replication sink指标的命令。 hbase(main):018:0> status 'replication' 输出结果如下:(具体以实际节点输出结果为准)
弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”,在“Project Encoding”和“Global Encoding”区域,设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图1所示。 图1 设置IntelliJ
弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”,在“Project Encoding”和“Global Encoding”区域,设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图1所示。 图1 设置IntelliJ
运行8的命令会出现CSV注入风险提示,输入“yes”继续执行命令,输入其他,则取消数据导出操作。 例如:输入“yes”后,需根据提示输入业务用户名和对应密码,当显示以下信息,表示数据导出成功。 为避免安全风险,推荐使用交互式方式导出CSV文件。 导出CSV文件也可使用“./export-csv
设置特定配置变量(键)的值。 说明: 如果变量名拼错,Beeline不会显示错误。 set 打印由用户或Hive覆盖的配置变量列表。 set -v 打印Hadoop和Hive的所有配置变量。 add FILE[S] <filepath> <filepath>* add JAR[S] <filepath> <filepath>*
字符截取的起点位置或终点位置,大于输入字段的长度时,当前行成为脏数据。 EL操作转换 传入数据为NULL值,不做转换处理。 输入一个或多个字段的值,输出计算结果。 输入类型和算子不兼容时,当前行为脏数据。 字符串大小写转换 传入数据为NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。
字符截取的起点位置或终点位置,大于输入字段的长度时,当前行成为脏数据。 EL操作转换 传入数据为NULL值,不做转换处理。 输入一个或多个字段的值,输出计算结果。 输入类型和算子不兼容时,当前行为脏数据。 字符串大小写转换 传入数据为NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。
"snapshot_label1";命令获取。 从example_repo中恢复备份snapshot_label2中的表example_tbl的分区p1和p2,以及恢复表example_tbl2到数据库example_db1,并重命名为new_tbl,默认恢复为3个副本: RESTORE SNAPSHOT