检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端,即运行程序的节点必须已安
SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端,即运行程序的节点必须已安
登录云日志服务管理控制台,在“日志管理”页面单击“创建日志组”。 在“创建日志组”页面中,输入日志组名称,名称需要满足如下要求: 只支持输入英文、数字、中文、中划线、下划线及小数点。 不能以小数点、下划线开头或以小数点结尾。 长度为1-64个字符。 在“企业项目”处选择业务需要的企业项目,也可
SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端,即运行程序的节点必须已安
符串分割token。 INDEX d ID TYPE tokenbf_v1(256,2,0) GRANULARITY 5 索引创建详见官方文档 https://clickhouse.tech/docs/en/engines/table-engines/mergetree-fami
据源。 查询分析(Query Analysis):支持标准SQL查询分析,同时提供DSL(DataFrame), 并支持多种外部输入。 本文档重点介绍Spark、Spark SQL和Spark Streaming应用开发指导。 Spark开发接口简介 Spark支持使用Scala
“IGNORE”:保留旧文件,不复制新文件。 “ERROR”:转移过程中出现同名文件时任务将停止执行并报错,已转移的文件导入成功,同名的文件及未转移的文档导入失败。 OVERRIDE 编码类型 导出文件的编码格式,如UTF-8。导出文本文件时才能配置。 UTF-8 压缩 使用SFTP协议导入
“IGNORE”:保留旧文件,不复制新文件。 “ERROR”:转移过程中出现同名文件时任务将停止执行并报错,已转移的文件导入成功,同名的文件及未转移的文档导入失败。 OVERRIDE 编码类型 导出文件的编码格式,如UTF-8。导出文本文件时才能配置。 UTF-8 压缩 使用SFTP协议导入
“IGNORE”:保留旧文件,不复制新文件。 “ERROR”:转移过程中出现同名文件时任务将停止执行并报错,已转移的文件导入成功,同名的文件及未转移的文档导入失败。 OVERRIDE 编码类型 导出文件的编码格式,如UTF-8。导出文本文件时才能配置。 UTF-8 压缩 使用SFTP协议导入
“IGNORE”:保留旧文件,不复制新文件。 “ERROR”:转移过程中出现同名文件时任务将停止执行并报错,已转移的文件导入成功,同名的文件及未转移的文档导入失败。 OVERRIDE 编码类型 导出文件的编码格式,如UTF-8。导出文本文件时才能配置。 UTF-8 压缩 使用SFTP协议导入
port:外部访问Elasticsearch集群端口,默认为9200。 es.resource:1创建的索引名称。 更多参数配置可参考开源社区文档https://www.elastic.co/guide/en/elasticsearch/hadoop/6.1/hive.html。 执
sterX”时,不能启用存储策略定义功能。 存储策略定义在Hue的WebUI界面上分为两大类: 静态存储策略 当前存储策略 根据HDFS的文档访问频率、重要性,为HDFS目录指定存储策略,例如ONE_SSD、ALL_SSD等,此目录下的文件可被迁移到相应存储介质上保存。 动态存储策略
据源。 查询分析(Query Analysis):支持标准SQL查询分析,同时提供DSL(DataFrame), 并支持多种外部输入。 本文档重点介绍Spark、Spark SQL和Spark Streaming应用开发指导。 Spark开发接口简介 Spark支持使用Scala
Manager,选择“集群 > 服务 > HDFS”,查看“运行状态”是否为“良好”。 是,执行3。 否,执行2。 根据HDFS上报告警的相关帮助文档恢复HDFS服务的运行状态为“良好”,执行3。 重建关键目录数据。 在FusionInsight Manager首页,选择“运维 > 告警
用于展示表或分区的详细信息。 可以使用规则运算表达式来同时匹配多个表,但不可用于匹配分区。 展示的信息将包括表的基本信息和相关的文件系统信息,其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区,将给出指定分区的文件系统信息,而不是分区所在表的文件系统信息。
Kafka客户端安装目录/Kafka/kafka kinit flume_kafka(输入密码) 读取KafkaTopic中的数据(修改命令中的中文为实际参数)。 bin/kafka-console-consumer.sh --topic 主题名称 --bootstrap-server
* from x1 where deviceinformationid='111'; 在执行数据查询操作后,如果查询结果中某一列的结果含有中文字等其他非英文字符,会导致查询结果中的列不能对齐,这是由于不同语言的字符在显示时所占的字宽不尽相同。 执行以下命令退出Spark运行环境。
Kafka客户端安装目录/Kafka/kafka kinit flume_kafka(输入密码) 读取KafkaTopic中的数据(修改命令中的中文为实际参数)。 bin/kafka-console-consumer.sh --topic 主题名称 --bootstrap-server
参考表2填写参数。常用的OBS自定义策略样例请参考OBS自定义策略。 表2 策略参数 参数 说明 策略名称 只能包含如下字符:大小写字母、中文、数字、空格和特殊字符(-_.,)。 作用范围 选择全局级服务,OBS为全局服务。 配置策略方式 选择“可视化视图”。 策略内容 “允许”选择“允许”。
sterX”时,不能启用存储策略定义功能。 存储策略定义在Hue的WebUI界面上分为两大类: 静态存储策略 当前存储策略 根据HDFS的文档访问频率、重要性,为HDFS目录指定存储策略,例如ONE_SSD、ALL_SSD等,此目录下的文件可被迁移到相应存储介质上保存。 动态存储策略