检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager。 选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置 > 全部配置”,搜索“hive.local.dir.confblacklist”配置项。 在该配置项中添加用户要重点保护的数据库、表或目录路径。 输入完成后,单击“保存”,保存配置项。 父主题: Hive常见问题
配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题: 使用Flume
表。 处理步骤 登录FusionInsight Manager,选择“系统 > 角色 > 添加角色”,填写角色名称,在“配置资源权限”表格中选择“待操作的集群名称 > Hive > Hive读写权限”,在待操作数据库所在行勾选“查询”、“删除”、“插入”、“建表”、“Select
上传配置HetuEngine应用安全认证中得到的“jaas-zk.conf”、“user.keytab”和“krb5.conf”文件到Linux环境“/opt/client”目录下。 执行以下命令,进入集群客户端安装目录: cd /opt/client 执行以下命令,配置环境变量:
YARN Command介绍 您可以使用YARN Commands对YARN集群进行一些操作,例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。 完整和详细的Command描述可以参考官网文档: http://hadoop
安全模式下,也可登录FusionInsight Manager,选择“集群 > 服务 > IoTDB > 配置”,在搜索框中搜索“SSL”,修改“SSL_ENABLE”参数值为“false”;保存配置后需重启IoTDB服务使配置生效。并修改客户端“客户端安装目录/IoTDB/iotdb/conf”目录下的“iotdb-client
文件到客户端所在服务器上。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/example/” )下。 运行任务 登录Spark客户端节点,执行如下命令: source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env
文件到客户端所在服务器上。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/example/” )下。 运行任务 登录Spark客户端节点,执行如下命令: source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env
配置Spark Streaming对接Kafka可靠性 配置场景 Spark Streaming对接Kafka时,当Spark Streaming应用重启后,应用根据上一次读取的topic offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的。
MultiComponentLocalRunner.main()”运行应用工程。 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce.admin.map.child.java
导入并配置Alluxio样例工程 在获取MRS样例工程,下载样例工程到本地。 导入样例工程到Eclipse开发环境。 打开Eclipse,选择“File > Import”。显示“Import”窗口,选择Existing Maven Projects,单击“next”按钮。 在“Import
登录FusionInsight Manager页面,选择“系统 > 权限 > 角色”。 单击“添加角色”,并配置如下参数。 角色名称:配置角色名称,例如hive_admin。 配置资源权限:选择“Hive”,并勾选“Hive管理员权限”。 单击“确定”保存角色。 选择“系统 > 权限
HBase运维管理 HBase日志介绍 配置Region Transition恢复线程 启用集群间拷贝功能备份集群数据 配置HBase主备集群数据自动备份 HBase集群容灾高可用 父主题: 使用HBase
如果数据盘为SATA盘,当大批量数据集中插入时候,会抢占磁盘,使得磁盘长时间处于繁忙状态,影响其他alter类操作的效率。 尽量避免批量导数据的SQL并发执行,会给磁盘和ClickHouse并发能力带来冲击。 Kafka数据入库 不建议建ClickHouse kafka表引擎,进行数据同步到ClickHouse
) 使用HDFS客户端 安装客户端,详细操作请参考使用MRS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进
登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称,该集群需要包含Hadoop组件,且已为MRS集群绑定具有OBS文件系统操作权限的IAM权限委托。 查看或绑定委托的操作如下: 登录MRS集群的“概览”页面,查看“委托”参数是否有值,且绑定的委托具有OBS文件系统操作权限。 是,集群已绑定委托。 否,执行4
“输入目录”不参与过滤。配置多个过滤条件时使用“,”隔开,配置为空时表示不过滤目录。不支持正则表达式过滤。 “?”匹配单个字符。 “*”配置多个字符。 在匹配条件前加“^”表示取反,即文件过滤。 * 文件过滤器 配置通配符对源文件的输入文件名进行过滤。配置多个过滤条件时使用“,”
ies”的jar包,并将jar包和idea中conf文件夹一同上传到“/opt/test”目录,如: 执行如下命令,配置环境变量并运行jar包: cd 客户端安装路径 source bigdata_env cd /opt/test java -jar clickhouse-examples-1
启用了Ranger鉴权时,如果用户创建后需要继续为用户配置创建、执行、查询、删除权限,请参考添加CDL的Ranger访问权限策略。 对于手动停用了Ranger鉴权的集群,可参考MRS集群服务启用Ranger鉴权章节重新启用Ranger鉴权。 该章节内容仅适用于开启了Kerberos认证的集群。 操作步骤 登录FusionInsight
登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Storm”,选择“配置”选项卡,在搜索框中搜索并调大nimbus.task.timeout.secs和supervisor.worker.start.timeout.secs的值,建议调整为最大值。然后在W