检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
root用户和omm用户都执行一遍。 如果出现Escape character is '^]'类似打印则说明可以连通,如果出现connection refused则表示失败,无法连接到相关端口。 如果相关端口打开,但是从别的节点无法连通到该端口,则需要排查下相关网络配置。 236
创建集群时已勾选Sqoop组件以及依赖的服务。 安装客户端,具体请参考安装客户端(3.x及之后版本)。例如安装目录为“/opt/client”,请根据实际安装目录修改。为使用Sqoop时简单方便,使用Sqoop时需要安装全量客户端。 如果集群已开启kerberos认证,需要先创建或获取具有相应权限的用户,用于执行S
创建HDFS目录 功能简介 创建目录过程为: 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei
创建HDFS目录 功能简介 创建目录过程为: 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei
目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”如果不存在,则手动添加该参数项。 表1 参数说明 参数 描述
变换成为电信号或其他所需形式的信息输出并发送给IoTDB。在IoTDB当中,存储的所有的数据及路径,都是以传感器为单位进行组织。 存储组 用户可以将任意前缀路径设置成存储组。如果有4条时间序列,如“root.vehicle.d1.s1”、“root.vehicle.d1.s2”、“root
这种情况是由于磁盘存在IO错误,处理方法如下: 方法一:登录FusionInsight Manager页面,检查Manager界面上是否磁盘IO异常的告警,如果有,可参考对应的告警帮助文档,通过更换硬盘恢复。 方法二:登录FusionInsight Manager页面,重启ClickHouse实例,恢复磁盘状态。 此
这种情况是由于磁盘存在IO错误,处理方法如下: 方法一:登录FusionInsight Manager页面,检查Manager界面上是否磁盘IO异常的告警,如果有,可参考对应的告警帮助文档,通过更换硬盘恢复。 方法二:登录FusionInsight Manager页面,重启ClickHouse实例,恢复磁盘状态。 此
access_key_id, secret_access_key:账号的长期凭证,可以使用凭证来对请求进行认证,参数是可选的。如果没有指定凭据,将从配置文件中读取凭据。 structure:表结构。 ClickHouse从S3中获取数据创建表: CREATE TABLE test1_s3 (name
org/confluence/display/hive/languagemanual。 是,执行2.a。 否,执行1.b。 若想查看执行错误语句的用户,可下载产生该告警的HiveServer节点的HiveServerAudit日志,下载的“开始时间”和“结束时间”分别为告警产生时间的前后
进行交互来运行作业。 如果NodeManager连不上客户端所在的节点,就会报错: 处理步骤 在客户端的Spark配置中指定Driver的IP地址: “<客户端安装位置>/Spark/spark/conf/spark-defaults.conf”中添加参数“spark.driver
购买MRS集群 快速购买MRS集群 自定义购买MRS集群 购买专属云MRS集群
topic) { super("KafkaConsumerExample", false); // 初始化consumer启动所需的配置参数,详见代码。 Properties props = initProperties(); consumer = new
in/start-balancer.sh -threshold 10 其中“/opt/client”是实际的客户端安装目录。 针对新写入数据,将客户端安装在没有安装DataNode的节点。 父主题: 使用HDFS
MRS集群内的节点中可以部署爬虫服务吗? 问: MRS集群内的节点中可以部署爬虫服务吗? 答: 为正常保障集群稳定运行,MRS集群内节点中不能部署爬虫服务或其他第三方服务。 父主题: 周边生态对接类
curl-x.x.x.tar.gz 使用如下命令覆盖安装: cd curl-x.x.x ./configure make make install 使用如下命令更新curl的动态链接库: ldconfig 安装成功后,重新登录节点环境,使用如下命令查看curl版本是否更新成功: curl --version
提交MRS作业 MRS作业类型介绍 上传应用数据至MRS集群 运行MRS作业 查看MRS作业详情和日志
此,Apache Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 Doris采用MPP的模型,节点间和节点内都是并行执行,适用于多个大表的分布式Join。支持向量化的查询引擎、AQE(
Seriablizale; // 该类作为快照的一部分,保存用户自定义状态 public class UDFState implements Serializable { private long count; // 初始化用户自定义状态 public UDFState()
conf文件,无法获取kerberos认证所需信息,导致ApplicationMaster启动失败。 解决办法 在客户端提交任务时,在命令行中配置自定义的spark.driver.extraJavaOptions参数这样任务运行时就不会自动加载客户端路径下“spark-defaults