检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
线上VPC的连接通道。云专线详情请参考什么是云专线。 弹性IP访问和云专线访问可以在MRS集群管理控制台上进行切换:登录MRS管理控制台,在待操作的MRS集群“概览”页面单击“集群管理页面”后的,在打开的页面中进行切换。 通过ECS访问FusionInsight Manager:
据的不确定性等),都会导致预估计算量难以进行,而使用弹性伸缩能力,可以让业务人员专注于业务开发,无需分心再做各种资源评估。 父主题: 集群管理
工程,选择“Run MultiComponentLocalRunner.main()”运行应用工程。 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce
工程,选择“Run MultiComponentLocalRunner.main()”运行应用工程。 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境配置文件中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce
工程,选择“Run MultiComponentLocalRunner.main()”运行应用工程。 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce
群的价格,您可一键完成购买。 计费项 购买MRS集群的费用包含两个部分: MRS服务管理费用 您可以在“费用中心 > 账单管理 > 费用账单”里筛选如下内容查看费用详情。 图1 查看MRS服务管理费用 如果集群版本类型为“LTS版”:按“MRS-LTS服务费用”进行筛选。 如果集群版本类型为“普通版”:
配置MRS集群用户密码策略 根据业务安全需要,管理员可以在Manager设置密码安全规则、用户登录安全规则及用户锁定规则。 密码策略涉及用户管理的安全性,请根据企业安全要求谨慎修改,否则会有安全性风险。 修改密码策略之后,再修改用户密码,此时新的密码策略才会生效。 此密码策略适用
properties”和“hive-site.xml”文件,并在Linux环境上创建文件夹保存这些配置文件,例如/opt/client/conf。 请联系管理员获取相应账号对应权限的“user.keytab”和“krb5.conf”文件,“hbase-site.xml”从HBase客户端获取,“hiveclient
层级式的租户管理:MRS支持层级式的租户管理,可以为租户进一步添加子租户,实现资源的再次配置。一级租户下一级的子租户属于二级租户,以此类推。为企业提供了成熟的多租户管理模型,实现集中式的租户和业务管理。 简化的权限管理: MRS对普通用户封闭了租户内部的权限管理细节,对管理员简化了权限管理的操作方法,提升了租户权限管理的易用性和用户体验。
buffer-flush.max-rows' = '0', 'sink.buffer-flush.interval' = '0s' 查看作业管理界面,作业状态为“运行中”。 参考管理Kafka Topic中的消息,向kafka中写入数据。 sh kafka-console-producer.sh --broker-list
解决Flink上传UDF后UI分页显示异常的问题。 解决Flink流读Hudi数据时间显示会少8小时的问题。 解决使用FlinkServer创建SASL_SSL认证的kafka连接,执行报错的问题。 解决Flink对接Guardian启用OBS,Flink作业重启偶现重启失败的问题。 解决DataArts
配置集群节点信息。 Kerberos认证 不开启 是否启用Kerberos认证。 用户名 admin/root 登录集群管理页面及ECS节点的用户名。 密码 - 设置登录集群管理页面及ECS节点用户的密码。 确认密码 - 再次输入设置用户密码。 企业项目 default 选择集群所属的企业项目。
x及之前版本时: 选择“节点管理”,在待退订节点组对应的“操作”列单击“隔离节点”。 选择需要退订的节点并单击“确定”对节点进行隔离。 隔离节点过程的时长取决于节点中数据量,数据量越大则时间越长,请耐心等待。 节点隔离成功后,节点状态显示为“已隔离”。在“节点管理”页面出现“退订节点”按钮。
配置资源权限,详细配置请参见表1。 表1 设置角色 任务场景 角色授权操作 设置HDFS管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS”,勾选“集群管理操作权限”。 说明: 设置HDFS管理员权限需要重启HDFS服务才可生效。 设置用户执行HDFS检查和HDFS修复的权限
225.167 --secure --port 9440 --query="insert into default.test_cpy FORMAT CSV" < /opt/clickhouse/default_test.csv 父主题: ClickHouse运维管理
225.167 --secure --port 9440 --query="insert into default.test_cpy FORMAT CSV" < /opt/clickhouse/default_test.csv 父主题: ClickHouse运维管理
Once、At-Most Once、Exactly Once的数据处理模式。 安全机制 提供基于Kerberos的认证以及可插拔的授权机制,提供支持SSL的Storm UI以及Log Viewer界面,同时支持与大数据平台其他组件(如ZooKeeper,HDFS等)进行安全集成。 灵活的拓扑定义及部署
huawei.bigdata.mapreduce.examples.MultiComponentExample 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境配置文件中与准备放置编译出的jar包同目录的“conf”目录下获取)的配置项“mapreduce
ClickHouse用户及权限管理 用户权限模型 ClickHouse用户权限管理实现了对集群中各个ClickHouse实例上用户、角色、权限的统一管理。通过Manager UI的权限管理模块进行创建用户、创建角色、绑定ClickHouse访问权限配置等操作,通过用户绑定角色的方式,实现用户权限控制。
比如MapReduce应用程序无法很好地利用本地计算的优势、数据节点之间无法达到更好的网络带宽使用率或节点磁盘无法利用等等。所以MRS集群管理员需要定期检查并保持DataNode数据平衡。 HDFS提供了一个容量均衡程序Balancer。通过运行这个程序,可以使得HDFS集群达到