检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 * <brokers>为获取元数据的Kafka地址。 */ object DstreamKafkaWriterTest1 { def main(args: Array[String])
<checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 * <brokers>为获取元数据的Kafka地址。 */ object DstreamKafkaWriterTest1 { def main(args: Array[String])
<checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 * <brokers>为获取元数据的Kafka地址。 */ object DstreamKafkaWriterTest1 { def main(args: Array[String])
FusionInsight_Cluster_1_Services_ClientConfig scp IoTDB/config/* root@客户端节点IP地址:/opt/client/conf 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/
Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43011”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的JDBCServ
“GC_OPTS”参数中“-XX:MaxDirectMemorySize”默认没有配置,如需配置,用户可在“GC_OPTS”参数中自定义添加。 Put相关参数 RegionServer处理Put请求的数据,会将数据写入MemStore和HLog: 当MemStore大小达到设置的“hbase
户需要添加到对应集群的hadoop用户组(非FusionInsight Manager下第一个安装的集群,用户组为“c<集群ID>_hadoop”,例如“c2_hadoop”),且具有HBase根目录的加密key的读权限=。 检查目录/tmp/hbase的权限,需要手动添加当前用户对该目录的写权限。
hiveMetaClass, hiveShimClass); // 添加Hive配置文件 config.addResource("hive-site.xml"); // 添加HBase配置文件 Configuration conf = HBaseConfiguration
图2 Configure 在弹出的“Project Structure for New Projects”页面中,选择“SDKs”,单击加号添加JDK。 图3 Project Structure for New Projects 在弹出的“Select Home Directory
Manager。 选择“系统 > 权限 > 角色 > 添加角色”。 填写角色名称,如“dorisrole”. 在“配置资源权限”选择“待操作的集群 > Doris”,勾选“Doris管理员权限”,单击“确定”。 选择“用户 > 添加用户”,在新增用户界面,创建一个人机用户,例如developuser,并绑定2新建的角色。
在Hive表的元数据信息界面: 单击右上角的“导入”可导入数据。 单击“概述”,在“属性”域可查看表文件的位置信息。 可查看Hive表各列字段的信息,并手动添加描述信息,注意此处添加的描述信息并不是Hive表中的字段注释信息(comment)。 单击“样本”可浏览数据。 管理Hive元数据表 单击左侧列表中的
结果: col1 int col2 bigint DESCRIBE sourcetable; 结果: col1 int col2 int 添加cast函数以将BigInt类型数据转换为Integer类型数据。 INSERT INTO newcarbontable select col1
dir”配置项用于指定数据块在DataNode上的存储目录,在系统安装时需要指定根目录,并且可以指定多个根目录。 请谨慎修改该配置项,可以添加新的数据根目录。 禁止删除原有存储目录,否则会造成数据块丢失,导致文件无法正常读写。 禁止手动删除或修改存储目录下的数据块,否则可能会造成数据块丢失。
> 全部配置 > UserSync(角色) > 自定义”。 在“ranger.usersync.config.expandor”参数配置中添加“ranger.usersync.sync.source”值为“ldap”和“ranger.usersync.cookie.enabled”值为“false”,如下图所示:
行该步骤,没有开启Kerberos认证的集群请忽略该步骤。 操作步骤 登录MRS Manager页面。 单击“系统设置 > 用户管理 > 添加用户”,为样例工程创建一个用户。 填写用户名,例如prestouser,用户类型为“机机”用户,加入用户组presto,设置其“主组”为presto,单击“确定”。
dc=hadoop,dc=com”的密码前需先确认该用户没有被锁定,在集群主管理节点上执行如下命令: ldapsearch -H ldaps://OMS浮动地址:oLdap端口 -LLL -x -D cn=pg_search_dn,ou=Users,dc=hadoop,dc=com -W -b cn=pg_search_dn
入了Clustering服务来重写数据以优化Hudi数据湖文件的布局。 Clustering服务可以异步或同步运行,Clustering会添加了一种新的REPLACE操作类型,该操作类型将在Hudi元数据时间轴中标记Clustering操作。 Clustering服务基于Hudi
可根据CPU、WAL积压情况调整。该参数为自定义配置,需选择“IoTDBServer(角色) > 自定义”,在自定义参数“engine.customized.configs”中添加该参数项及参数值。 写并发小,不用更改。 写并发大,可适当调大。 WAL积压,可适当调小。 CPU使用持续80%以上,可适当调小。 avg
开启方法(若之前有设置过,则跳过):在JDBCServer的自定义custom参数添加spark.ranger.plugin.viewaccesscontrol.enable值为true,并添加参数spark.ranger.plugin.viewaccesscontrol.en
集群管理类 如何查看所有MRS集群? 如何查看MRS服务的操作日志信息? 如何查看MRS集群配置信息? 如何在MRS集群中手动添加组件? 如何取消MRS集群风险告警的消息通知? 为什么MRS集群显示的资源池内存小于实际集群内存? MRS集群安装的Python版本是多少? 如何上传本地文件到集群内节点?