检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
手动导出IoTDB数据 操作场景 该任务指导用户使用“export-csv.sh”将数据从IoTDB导出为CSV格式的文件。 导出CSV格式的数据文件,可能存在注入风险,请谨慎使用。 前提条件 已安装客户端,请参见。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
EGER”和“BIGINT”。 enum 是 VARCHAR 数据处理规则 生成指定类型的随机值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“随机值转换”算子,生成C、D、E三个字段: 转换后,按顺序输入这五个字段: 可以发现,每次生成的随机值都不一样。
序,为什么有时会导致已提交的作业执行失败? 回答 BulkLoad程序在客户端启动时会生成一个partitioner文件,用于划分Map任务数据输入的范围。 此文件在BulkLoad客户端退出时会被自动删除。 一般来说当所有Map任务都启动运行以后,退出BulkLoad客户端也不
√ √ x √ 批量删除作业 √ √ x √ 查询作业详情 √ √ √ √ 查询作业列表 √ √ √ √ 新建文件夹 √ √ x √ 删除文件 √ √ x √ 查询文件列表 √ √ √ √ 批量操作集群标签 √ √ x √ 创建单个集群标签 √ √ x √ 删除单个集群标签 √ √
阅类型(如subscribe)。 <topic>指读取Kafka上的topic名称。 <checkpointDir>指checkpoint文件存放路径,本地或者HDFS路径下。 由于Spark Structured Streaming Kafka的依赖包在客户端的存放路径与其他依
Spark SQL样例程序(Python) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见SparkSQLPythonExample: # -*- coding:utf-8 -*- import sys from
Spark SQL样例程序(Python) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见SparkSQLPythonExample: # -*- coding:utf-8 -*- import sys from
序,为什么有时会导致已提交的作业执行失败? 回答 BulkLoad程序在客户端启动时会生成一个partitioner文件,用于划分Map任务数据输入的范围。 此文件在BulkLoad客户端退出时会被自动删除。 一般来说当所有Map任务都启动运行以后,退出BulkLoad客户端也不
EGER”和“BIGINT”。 enum 是 VARCHAR 数据处理规则 生成指定类型的随机值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“随机值转换”算子,生成C、D、E三个字段: 转换后,按顺序输入这五个字段: 可以发现,每次生成的随机值都不一样。
已准备开发环境及MRS集群相关配置文件,详情请参考准备连接Kafka集群配置文件。 操作步骤 获取样例工程文件夹。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调
登录到集群的Master节点执行hdfs dfs -du -h / 命令发现如下文件占用大量磁盘空间。 Mapreduce服务的汇聚日志配置参数如下: 原因分析 客户提交任务的操作过于频繁,且聚合后的日志文件被删除的时间配置为1296000,即聚合日志保留15天,导致汇聚的日志无法在短时间内释放,从而引起磁盘被占满。
安全集群需要进行Kerberos认证,需要在客户端节点的hosts中配置信息,访问速度才不会受到影响。 处理步骤 将集群节点上的hosts文件内容复制到安装客户端节点的hosts文件中。 父主题: 集群管理类
在“日志”区域,单击要查看的日志文件名称,即可在线预览对应日志内容。 在“主机”页面单击主机名称,在主机详情页面的“实例”区域,也可查看该主机上所有角色实例的日志文件。 日志内容默认最多显示100行,可单击“加载更多”按钮查看更多日志内容。单击“下载”按钮,可将该日志文件下载到本地。如需批量
结果。 通过Hue可以在界面针对组件进行以下操作: HDFS: 查看、创建、管理、重命名、移动、删除文件/目录。 上传、下载文件。 搜索文件、目录、文件所有人、所属用户组;修改文件以及目录的属主和权限。 手动配置HDFS目录存储策略,配置动态存储策略等操作。 Hive: 编辑、执
打通数据传输通道进行网络配置,打通网络传输通道。使用Distcp工具执行如下命令将源集群的HDFS、HBase、Hive数据文件以及Hive元数据备份文件复制至目的集群。 $HADOOP_HOME/bin/hadoop distcp <src> <dist> -p 其中,各参数的含义如下:
本章节主要介绍开发Doris UDF程序时应遵循的规则和建议。 Doris UDF开发规则 UDF中方法调用必须是线程安全的。 UDF实现中禁止读取外部大文件到内存中,如果文件过大可能会导致内存耗尽。 需避免大量递归调用,否则容易造成栈溢出或oom。 需避免不断创建对象或数组,否则容易造成内存耗尽。 Java
webUrl 集群首页地址,从配置文件“UserInfo.properties”中获取。 userName 登录FusionInsight系统的用户名,从配置文件“UserInfo.properties”中获取。 password userName对应的密码,从配置文件“UserInfo.properties”中获取。
已准备开发环境及MRS集群相关配置文件,详情请参考准备连接Kafka集群配置文件。 操作步骤 获取样例工程文件夹。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调
当检测到损坏的块数量超出阈值范围时产生该告警。 当损坏的块数量小于或等于阈值时,告警恢复。建议使用命令(hdfs fsck /)验证是否有文件完全损坏。 告警属性 告警ID 告警级别 可自动清除 14004 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。
9之后版本新加了TTL_DELETE,之前的版本不识别,高版本复制表副本被选作leader时会出现该问题。 可修改高版本ClickHouse配置文件config.xml文件做规避,需尽可能保证复制表副本见ClickHouse版本一致。 父主题: ClickHouse常见问题