检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的log4j的包。 MRS 3.1.2-LTS.2版本的补丁安装过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。 MRS 3.1.2-LTS.2版本的补丁安装完成后需要在FusionInsight Manager
弹性云服务器需要允许用户使用密码方式登录(SSH方式)。 配置待安装客户端节点的NTP时间同步,使节点时间与MRS集群时间同步。 登录MRS服务管理控制台,在集群列表单击MRS集群名称,进入MRS集群详情页面。 单击“节点管理”,展开Master节点组列表,查看集群Master1、Master2节点的IP地址信息。
https.port”参数值获取。 用户能看到哪个队列的任务,要看这个用户是否有这个队列的admin权限。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理。 运行结果: { "apps": { "app": [
的组件,如果存在请单击“操作”列的“重启”,重启相关组件。 重新下载并安装MRS集群完整客户端。具体操作请参考安装客户端。 如果需要在管理控制台执行作业提交操作,需要更新集群内置客户端配置文件。 在MRS集群概览页面,获取弹性IP,使用该IP登录Master节点,执行如下命令刷新集群内置客户端。
据量不要超过2GB(该2GB是指数据内容大小,不是指数据行数也不是parquet的数据文件大小),目的是将对应的桶的Parquet文件大小控制在256MB范围内(平衡读写内存消耗和HDFS存储有效利用),因此可以看出2GB的这个限制只是一个经验值,因为不同的业务数据经过列存压缩后大小是不一样的。
se”。 true dfs.auto.data.mover.cron.expression HDFS执行冷热数据迁移的CRON表达式,用于控制数据迁移操作的开始时间。仅当“dfs.auto.data.mover.enable”设置为“true”时才有效。默认值“0 * * * *”表示在每个整点执行任务。
ClientCnxnSocketNetty 如果不包含,将上述内容添加到配置项末尾处。 查看调测结果 查看运行结果获取应用运行情况 如下所示,通过控制台输出结果查看应用运行情况。 3614 [main] INFO org.apache.hadoop.hdfs.PeerCache - SocketCache
ClientCnxnSocketNetty 如果不包含,将上述内容添加到配置项末尾处。 查看调测结果 查看运行结果获取应用运行情况 如下所示,通过控制台输出结果查看应用运行情况。 3614 [main] INFO org.apache.hadoop.hdfs.PeerCache - SocketCache
以忽略。 上述方案落地的具体步骤参考如下: Flink只负责写数据和生成Compaction计划 Flink流任务建表语句中添加如下参数,控制Flink任务写Hudi时只会生成Compaction plan 'compaction.async.enabled' = 'false'
user:在Kibana中创建的具有1创建的索引的操作权限的用户密码及用户名,详细内容请参见使用Kibana创建用户并授权。 es.nodes:需要连接的IP,可登录CSS管理控制台,在集群列表的“内网访问地址”列即可查看对应集群的IP地址。 es.port:外部访问Elasticsearch集群端口,默认为9200。
ClientCnxnSocketNetty 如果不包含,将上述内容添加到配置项末尾处。 查看调测结果 查看运行结果获取应用运行情况 如下所示,通过控制台输出结果查看应用运行情况。 1848 [main] INFO org.apache.hadoop.security.UserGroupInformation
执行以下命令,进行用户认证。 kinit 组件业务用户 使用“kafka-acl.sh”进行用户授权常用命令如下。 查看某Topic权限控制列表: ./kafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKee
rosClient/etc/krb5.conf”。 AWS_ACCESS_KEY xxx AK、SK信息。可以通过以下操作以下获取: 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”。 单击“确定”,根据浏览器提示,保存密
Functions 方法 说明 explain() 打印出SQL语句的逻辑计划和物理计划。 printSchema() 打印schema信息到控制台。 registerTempTable(name) 将DataFrame注册为一张临时表,命名为name,其周期和SQLContext绑定在一起。
Functions 方法 说明 explain() 打印出SQL语句的逻辑计划和物理计划。 printSchema() 打印schema信息到控制台。 registerTempTable(name) 将DataFrame注册为一张临时表,命名为name,其周期和SQLContext绑定在一起。
--consumer-config config/consumer.properties 该命令仅根据集群当前状态生成迁移方案,并打印到控制台。 清理中间状态 ./bin/kafka-balancer.sh --clean --zookeeper <ZooKeeper的任意一个
在首页中单击“PRESTO”区域的“HetuEngine”。 在“Access”页签单击“Add New Policy”,添加HetuEngine权限控制策略。 根据业务需求配置相关参数。 “授予访问表所在的Catalog策略”为基础策略,配置其他策略前必须先确保配置了此策略,可参考表2进行配置。
台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。客户端应用请求集群时,使用基于Nginx的ClickHouseBalancer控制节点来进行流量分发,无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障。 父主题: 准备ClickHouse应用开发环境
Functions 方法 说明 explain() 打印出SQL语句的逻辑计划和物理计划。 printSchema() 打印schema信息到控制台。 registerTempTable(name) 将DataFrame注册为一张临时表,命名为name,其周期和SQLContext绑定在一起。
不允许source的个数或者类型发生变化。 source的参数变化,这种情况是否能被支持,取决于source类型和查询语句,例如: 速率控制相关参数的添加、删除和修改,此种情况能被支持,如:spark.readStream.format("kafka").option("subscribe"