检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
setJarByClass(Class< > cls) 核心接口,指定执行类所在的jar包本地位置。java通过class文件找到执行jar包,该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包本地位置。直接设置执行jar包所在位置,该jar包被上传到HDFS。与
setJarByClass(Class< > cls) 核心接口,指定执行类所在的jar包本地位置。java通过class文件找到执行jar包,该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包本地位置。直接设置执行jar包所在位置,该jar包被上传到HDFS。与
只有“Avro”类型的Source才有此配置项 true表示启用 false表示不启用 false 单击“导出”,将配置文件“properties.properties”保存到本地。 将“properties.properties”文件上传到Flume客户端安装目录下的“flume/conf/”下。 配置Flume角
内容要求:建议使用CollapsingMergeTree、VersionedCollapsingMergeTree引擎或根据分区批量清理。 ClickHouse需要写本地表。 内容要求:连接balancer写入报错Request Entity Too Large。这是由于Nginx对http请求体大小有限制,而一次写入的数据量超过了这个限制。
setJarByClass(Class< > cls) 核心接口,指定执行类所在的jar包本地位置。java通过class文件找到执行jar包,该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包本地位置。直接设置执行jar包所在位置,该jar包被上传到HDFS。与
荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程 Spark提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个Spark工程。
单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”。 收集异常故障日志时间长短可以咨询技术支持人员。 单击“下载”,实时转储的系统表会被保存在本地。 收集一键转储系统表日志 使用root用户后台登录任一ClickHouseServer节点,进入到sbin目录下。 cd ${BIGDA
以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,下载样例工程到本地。 将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。
container_1547547065745_0001_01_000004 -out logdir/ 上述命令会将container运行日志下载至本地,该日志包含了TaskManager/JobManager的运行日志,GC日志等信息。 还可以使用如下命令获取指定名称日志。 获取container日志列表:
/hiveserver/localtasklog/omm_<日期>_<任务ID>.log Hive本地任务的运行日志 /hiveserver/localtasklog/omm_<日期>_<任务ID>-gc.log.<编号> Hive本地任务的GC日志 /metastore/metastore.log MetaStore进程的运行日志
SDK”为“SDKs”中添加的JDK。 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings > Build
SDK”为“SDKs”中添加的JDK。 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings > Build
/hiveserver/localtasklog/omm_<日期>_<任务ID>.log Hive本地任务的运行日志 /hiveserver/localtasklog/omm_<日期>_<任务ID>-gc.log.<编号> Hive本地任务的GC日志 /metastore/metastore.log MetaStore进程的运行日志
male,50 CaiXuyu,female,50 FangBo,female,60 数据规划 首先需要把原日志文件放置在HDFS系统里。 本地新建两个文本文件,将log1.txt中的内容复制保存到input_data1.txt,将log2.txt中的内容复制保存到input_data2
dfs -ls hdfs://hacluster/flink-checkpoint/命令查看。 若将checkpoint的快照信息保存到本地文件,则可直接登录到各个节点查看。 查看Stream SQL Join结果 结果在flink的“taskmanager.out”文件中,用
时指定stored as rcfile,但是文件格式为txt,则不符合要求。 文件必须是HDFS上的文件,不可以用file://的形式指定本地文件系统上的文件。 文件名不能以下横线(_)或点(.)开头,以这些开头的文件会被忽略。 如下所示,如果用户test_hive load数据,正确的权限如下:
ample/pyflink-kafka”中的“pyflink-kafka.py”和“insertData2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。 zip -q -r venv.zip venv/ 以roo
hot.cold.enabled:该参数值默认为“false”,必须修改为“true”。 fs.obs.buffer.dir:该参数值需要修改为本地挂载的数据盘目录,例如“/srv/BigData/data1/tmp/HBase/obs”。 单击“保存”,保存配置。 单击“概览”,选择“更多
channels = c1 必须保证“flume-env.sh”生效之后,再执行5配置“properties.properties”文件。 如果在本地配置该文件,配置完成后可参考如下步骤在Manager界面上传配置文件。如果操作顺序不规范,可能造成用户自定义环境变量丢失。 登录FusionInsight
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Local DBService HA Name 本地DBService HA名称。 Peer DBService HA Name 对端DBService HA名称。 对系统的影响 DBSer