检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以客户端安装用户,登录安装ClickHouse客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建Cli
sudo su - omm 执行以下命令,切换到客户端目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
以Kafka客户端安装用户,登录Kafka安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
影响。 Flink作为大数据计算和分析平台,对客户输入的数据是否包含敏感信息无法感知,因此需要客户保证输入数据是脱敏的。 客户可以根据应用环境,权衡配置安全与否。 任何与安全有关的问题,请联系运维人员。 父主题: Flink用户权限管理
数据 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有提交Yar
目录。 如果是安全集群,需要使用hdfs用户进行权限认证。 source bigdata_env #配置客户端环境变量 kinit hdfs #设置kinit认证 Password for hdfs@HADOOP
解决管控面提交Spark长稳业务中业务jar包和业务表在同一个OBS桶下偶现OBS 403认证过期的问题。 解决租户资源管理单击关联用户无响应的问题。 解决登录环境时偶现瞬间退出,需要清理浏览器缓存,才能正常登录的问题。 修改密码过期策略,页面新增提示修改完策略需要再次修改用户密码,策略才能生效。 解
以客户端安装用户,登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证(普通模式跳过此步骤)。 kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。
如,Loader客户端安装目录为“/opt/client/Loader”。 cd /opt/client/Loader 执行以下命令,配置环境变量。 source/opt/client/bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。
truststore修改为security.ssl.truststore: ssl/flink.truststore; 需要在Flink客户端环境中任意目录下创建ssl文件夹,如在“/opt/client/Flink/flink/conf/”目录下新建目录ssl,将flink.keystore、flink
以Kafka客户端安装用户,登录Kafka安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令认证当前用户。 kinit 组件业务用户 执行以下命令,创建Kafka的Topi
云硬盘(EVS)提供高可靠、高性能的存储。 弹性云服务器(ECS)提供的弹性可扩展虚拟机,结合VPC、安全组、EVS数据多副本等能力打造一个高效、可靠、安全的计算环境。 数据采集 数据采集层提供了数据接入到MRS集群的能力,包括Flume(数据采集)、Loader(关系型数据导入)、Kafka(高可靠消
A下,然后作业B和作业C可以从Topic A下读取数据。该方案简单易行,但是延迟一般大于100ms。 采用TCP直接相连的方式,算子在分布式环境下,可能会调度到任意节点,上下游之间无法感知其存在。 Job Pipeline流图结构 Pipeline是由Flink的多个Job通过TC
int保存数。 【示例】配置Checkpoint文件保存数为2: state.checkpoints.num-retained: 2 生产环境使用增量Rocksdb作为State Backend Flink提供了三种状态后端:MemoryStateBackend,FsStateB
第一次转存告警时自动生成目录。 操作视频 本视频将分别为您介绍查看告警和事件信息及配置告警阈值的操作。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 通过管理控制台查看与清除告警 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 单
a/client”目录的所属用户和用户组。 chown omm:wheel /opt/Bigdata/client -R 执行以下命令配置环境变量: source /opt/Bigdata/client/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令
如,Loader客户端安装目录为“/opt/client/Loader”。 cd /opt/client/Loader 执行以下命令,配置环境变量。 source/opt/client/bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。
配置示例(为了方便观察,此模型使用了netcat tcp作为Source源,logger作为Sink)。配置好如下参数后,在Linux的配置的主机节点上执行Linux命令“telnet 主机名或IP 44444”,并任意敲入符合正则和不符合正则的字符串。会在日志中观察到,只有匹配到的字符串被传输了。
0版本集群为例,介绍如何在购买集群时配置弹性伸缩、如何为已有集群新增弹性伸缩策略。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 添加Task节点 MRS集群创建成功之后,如果需要规划Task类型的节点组进行弹性伸缩,可通过手动添加节点组的方式进行配置。 “自
间接口消息等。 进程运行异常日志 记录导致进程运行时错误的错误信息,如输入对象为空、编解码失败等错误。 进程运行环境信息日志 记录进程运行环境的信息,如资源状态、环境变量等。 脚本日志 记录脚本执行的过程信息。 资源回收日志 记录资源回收的过程信息。 服务卸载时的清理日志 记录卸