检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本样例为数据表user_table创建一个名为index_id_age的索引,使用数据中的id和age两个列作为索引列,同时覆盖name列(查询条件不会用到,但是查询结果需要返回该列)。 /** * createIndex */ public void testCreateIndex()
Kerberos认证的集群忽略该步骤。 操作场景 开发用户用于运行样例工程。用户需要有HDFS权限,才能运行HDFS样例工程。 操作步骤 登录MRS Manager,在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称,例如hdfsrole。
3.0之前版本,登录FusionInsight Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 MRS 3.3.0及之后版本,登录FusionInsight
步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 重启集群组件步骤 进入MRS集群组件管理页面。 通过管理控制台操作:登录MRS管理控制台,单击集群名称进入集群详情页面,单击“组件管理”。
true 当Kafka没有存储offset时,是否从ZooKeeper中查找,并提交到Kafka。 kafka.consumer.auto.offset.reset latest 当没有offset记录时从什么位置消费,可选为“earliest”、“latest”或“none”
0天的数据,减少系统表的磁盘使用。 本章节仅适用于MRS 3.2.0之前版本。 操作步骤 使用具有ClickHouse系统表修改权限的用户登录客户端节点,连接到ClickHouse服务端,具体请参考使用ClickHouse客户端。 清理存量系统表数据,执行如下命令: truncate
不会持有同一把锁,可以极大提升写性能。 该功能适用于MRS 3.5.0及之后版本。 操作步骤 使用MRS集群管理员用户(例如admin)登录Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索并修改“dfs.namenode
于5次时,会造成LDAP用户或管理账户被锁定。用户被锁定之后,5分钟后会自动解锁。 该操作仅适用于MRS 3.x及之后版本。 以omm用户登录主管理节点。 执行以下命令,切换到目录: cd ${BIGDATA_HOME}/om-server/om/ldapserver/ldapserver/local/script
0天的数据,减少系统表的磁盘使用。 本章节仅适用于MRS 3.2.0之前版本。 操作步骤 使用具有ClickHouse系统表修改权限的用户登录客户端节点,连接到ClickHouse服务端,具体请参考ClickHouse客户端使用实践。 清理存量系统表数据,执行如下命令: truncate
副本,在没有故障的磁盘中引起不必要的块复制。 为了防止此情况,用户可以通过配置DataNodes来承受dfs.data.dir目录的故障。登录Manager,选择“集群 > 服务 > HDFS > 配置 > 全部配置”搜索参数“dfs.datanode.failed.volumes
副本,在没有故障的磁盘中引起不必要的块复制。 为了防止此情况,用户可以通过配置DataNodes来承受dfs.data.dir目录的故障。登录Manager,选择“集群 > 服务 > HDFS > 配置 > 全部配置”搜索参数“dfs.datanode.failed.volumes
fSystem = FileSystem.get(conf); } 在Windows环境和Linux环境下都需要运行login的代码样例,用于第一次登录使用,详细代码请参考com.huawei.hadoop.security中的LoginUtil类。 public synchronized
使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluste
datanode.max.locked.memory”参数值未设置或设置过小(小于“dfs.blocksize”参数值)时(对应参数值可登录Manager,选择“集群 > 服务 > HDFS > 配置 > 全部配置”搜索该参数获取),则会写入客户端所在的DataNode节点的D
Impala对接外部LDAP 本操作适用于MRS 3.1.0及之后版本。 登录Manager。 在Manager界面,选择“集群 > 待操作集群的名称 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > LDAP”。 配置如下参数的值。 表1 参数配置
datanode.max.locked.memory”参数值未设置或设置过小(小于“dfs.blocksize”参数值)时(对应参数值可登录Manager,选择“集群 > 服务 > HDFS > 配置 > 全部配置”搜索该参数获取),则会写入客户端所在的DataNode节点的D
权时,禁止更改其Location目录对应的权限。 开启本功能之后,外表功能变化大。请充分考虑实际应用场景,再决定是否做出调整。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer(角色)
更大规模存储中获得更好的性能,建议相应地调整加载元数据缓存最大超时时间和加载元数据连接池最大等待时间。 使用HetuEngine管理员用户登录FusionInsight Manager页面,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在“
能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”选择“管理与监管 > 消息通知服务”,进入消息通知服务页面。 创建主题并向主题中添加订阅,具体请参考配置MRS集群告警事件消息通知。
Impala对接外部LDAP 本操作适用于MRS 3.1.0及之后版本。 登录Manager。 在Manager界面,选择“集群 > 待操作集群的名称 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > LDAP”。 配置如下参数的值。 表1 参数配置