检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件“hive-site.xml”中,查看Hive的数据库路径的配置,默认为“/user/hive/warehouse”。Spark服务多实例默认数据库路径为“/user/hive/warehouse”,例如“/user/hive1/warehouse”。 <property>
} if (connection != null) { try { // 关闭Hbase连接. connection.close(); } catch (IOException e) {
sh,提交任务。 自定义日志若指定了路径<file>/path/test.log</file>,需确保任务运行所使用的用户(flink-conf.yaml配置用户)有权限对该目录进行读写操作。 父主题: Flink应用开发常见问题
'key1'='value1', 'key2'='value2') FROM root.sg.d1; 查看所有注册的UDF 在IoTDB客户端中执行下列SQL语句,可以查看所有注册的UDF: SHOW FUNCTIONS 父主题: 在IoTDBServer节点调测UDF应用
Impala使用OBS存储。 需要在集群管理页面MRS Manager里面设置指定的参数到core-site.xml,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs
进入IoTDB客户端,将1生成的Jar包导入到IoTDB客户端的lib目录下,如“/opt/client/IoTDB/iotdb/lib”。 上传准备集群认证用户信息获取到的用户认证文件“user.keytab”和“krb5.conf”到“客户端安装目录/IoTDB/iotdb/conf”目录下。 在IoT
工。 数据入库 建议使用CDL(增量实时同步)和Loader(批量同步)工具进行数据同步,也可选择HDFS外表(CK集群只支持X86平台)用户自己写调度程序进行数据导入。 父主题: ClickHouse数据库开发
setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler //添加用户自定义算子产生数据 env.addSource(new
setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler //添加用户自定义算子产生数据 env.addSource(new
通过API提交Spark作业后作业状态为error 用户问题 使用API提交Spark作业后,作业状态显示为error。 问题现象 修改“/opt/client/Spark/spark/conf/log4j.properties”中的日志级别,使用API V1.1接口作业提交后,状态显示为error。
Broker进程停止日志。 checkavailable.log Kafka服务健康状态检查日志。 checkInstanceHealth.log Broker实例健康状态检测日志。 kafka-authorizer.log Broker鉴权日志。 kafka-root.log Broker基础日志。
异常。 解决这个问题的办法是使用所有schema演进版本来创建uber schema,并使用该schema作为target schema。用户可以从hive metastore中获取schema并将其与当前schema合并。 父主题: 数据写入
t(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
t(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
t(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler ZookeeperRegisterServerHandler zkRegisterServerHandler
一个分区从热分区变成冷分区,仅仅是在元数据中进行标识,其HDFS业务侧分区路径、数据文件内容并未发生变化。 本特性仅适用于MRS 3.1.2及之后版本。 冻结分区 支持创建表的用户按照条件过滤的方式对一个或多个分区进行冻结,格式为:freeze partitions 数据库名称.表名称 where 分区过滤条件 例如:
ka上读取数据的。 Kafka服务的topic的leader异常后,如果Kafka的leader和follower的offset相差太大,用户重启Kafka服务,Kafka的follower和leader相互切换,则Kafka服务重启后,topic的offset变小。 如果Spark
ve可以将自己的HBase表中符合条件的一条或者多条数据清除。 表1 删除Hive on HBase表中的单行记录所需权限 集群认证模式 用户所需权限 安全模式 “SELECT”、“INSERT”和“DELETE” 普通模式 无 操作步骤 如果要删除某张HBase表中的某些数据,可以执行HQL语句:
NodeManager进程中),就会出现某些Task获取数据超时,从而出现该问题。 因此,当数据量达到10T级别以上的Spark任务,建议用户关闭ShuffleService功能,即在“Spark-defaults.conf”配置文件中将配置项“spark.shuffle.service
集群外节点安装客户端上传HDFS文件失败 用户问题 集群外节点安装客户端使用hdfs命令上传文件失败。 问题现象 在集群节点上安装客户端,在该客户端使用hdfs命令上传一个文件,报如下错误: 图1 上传文件报错 原因分析 从错误截图可以看到报错是no route to host,且报错信息里面有192