检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启了租户的严格校验模式等场景。 - 单击“删除”可以删除已增加的自定义配置参数。 单击“确定”。 登录集群客户端所在节点,执行以下命令,切换到客户端安装目录并认证用户。 cd /opt/client source bigdata_env kinit HetuEngine组件操作用户
女 25 J城市 操作步骤 以客户端安装用户,登录安装客户端的节点,客户端安装详细操作请参见安装客户端(3.x及之后版本)。 执行以下命令切换到客户端目录,客户端安装目录如:/opt/client。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
升级,应用程序仍然可以运行旧版本的Hadoop。 配置描述 进入HDFS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命
升级,应用程序仍然可以运行旧版本的Hadoop。 配置描述 进入HDFS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装路径 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命
distinct出现次数超过2就进行“提示”的规则。 图1 添加Spark SQL防御规则 登录安装有Spark客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env source
解决MRS对接DCS做缓存,缓存键一天多次被清空问题 解决CBG访问OBS概率性无权限问题 解决长时间使用客户端出现死锁问题 解决Yarn运行偶现RM主备切换问题 解决Spark SQL外表动态分区执行insert overwrite报错问题 解决周期清理任务清理.hive-staging时,查询数据库失败问题
union(env.readTextFile(filePaths[i])); } } // 数据转换,构造整个数据处理的逻辑,计算并得出结果打印出来 unionStream.map(new MapFunction<String
up”列的“Read”和“Other”列的“Read”,单击“Set”。 通过使用HDFS命令直接上传: 登录HDFS服务客户端所在节点,切换到客户端安装目录,如“/opt/hadoopclient”。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source
s认证的集群提交作业的内置用户名为omm。可通过在MRS管理控制台的集群详情页面,选择“组件管理 > Presto > 服务配置”,选择“全部配置”,搜索并修改参数“hive.hdfs.impersonation.enabled”的值为“true”,以实现MRS多用户访问OBS细粒度权限功能。
如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。 选择“集群 > 服务 > ClickHouse > 配置”。 单击“全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,然后单击“确定”,成功后配置生效。 配置完成后即生效,不需要重启服务。
9及以上操作系统)需要安装Python2版本,具体请参考Impala客户端安装Python2。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 运行Impala客户端命令,实现A业务。
9及以上操作系统)需要安装Python2版本,具体请参考Impala客户端安装Python2。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 运行Impala客户端命令,实现A业务。
9.2.3补丁安装完成之后,需要重启OMS服务。如果集群之前安装了1.9.2.2补丁,不需要做此操作。 使用root用户登录主备OMS节点,切换至omm用户,执行命令sh ${BIGDATA_HOME}/om-0.0.1/sbin/restart-oms.sh重启OMS服务。 主备OMS节点都需要重启。
a。 如果告警原因为“DataNode数据目录中多个目录使用同一磁盘”,执行5.a。 检查DataNode数据目录是否创建失败。 执行以下命令切换用户: sudo su - root su - omm 使用ls命令查看DataNode数据目录中的每个目录是否存在。 是,执行7。 否,执行3
insync.replicas=2 其中192.168.1.205为ZooKeeper业务IP地址。 如果修改服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。 父主题: 使用Kafka
对磁盘健康状态进行检查,建议使用专门的磁盘检查工具。 统计存储 分批次排查集群节点磁盘数据是否均匀存储,筛选出明显数据增加或不足的硬盘,并确认硬盘是否正常。 记录变更 安排并记录对集群配置参数和文件实施的操作,为故障分析处理场景提供依据。 每月 分析日志 收集集群节点服务器的硬件日志,例如BMC系统日志,并进行分析。
option(TABLE_NAME, tableName). mode(Overwrite). save(basePath) 查询Hudi表。 注册临时表并查询: val roViewDF = spark.read.format("org.apache.hudi").load(basePath
IoTDB套件由若干个组件构成,共同形成数据收集、数据写入、数据存储、数据查询、数据可视化、数据分析等一系列功能。 图2展示了使用IoTDB套件的全部组件形成的整体应用架构,IoTDB特指其中的时间序列数据库组件。 图2 IoTDB结构 用户可以通过JDBC/Session将来自设备传感
pplication_1478570725074_0046/executors?mode=monitoring --insecure 针对全部executor(alive&dead)命令: curl http://192.168.169.84:8088/proxy/applica
system”页面 进入“/tmp/logs/执行用户名/bucket-logs-tfile/任务ID/Flink任务ID”目录,将该目录下文件全部下载到本地。 图6 获取作业日志文件 在2.c下载的文件中搜索“root.sg.d1”,如下图显示则表示数据从IoTDB中读取成功。 图7