检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
columns策略 在Hive组件安全访问策略列表页面,单击“Add New Policy”为相关用户或者用户组添加资源访问策略,具体请参考配置组件权限策略。 父主题: 使用Ranger
数据规划 业务1的数据存储在Kafka组件中。向Kafka组件发送数据(需要有kafka权限用户),并从Kafka组件接收数据。Kafka配置参见样例数据规划章节。 业务2的数据通过socket接收消息记录,可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat
准备Manager应用开发和运行环境 准备样例工程 Manager REST API提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 配置并导入Manager样例工程 根据场景开发工程 提供了Java语言的样例工程,包含添加用户、查找用户、修改用户、删除用户,导出用户列表等典型应用场景。
进入Loader页面。 单击“管理连接”。 显示Loader连接管理页面。 可单击“管理作业”回到作业管理页面。 单击“新建连接”,进入配置页面,并填写参数创建一个Loader连接。 Loader作业介绍 Loader作业用于管理数据迁移任务,每个作业包含一个源数据的连接,和一
期保持不变。 单击“确定”完成修改操作。 修改用户信息(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。 在“权限配置”区域,单击“用户管理”。 在要修改用户所在的行,单击“修改”,修改用户信息。 为用户修改用户组或分配的角色权限,最长可能需要3分钟时间生效。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode内存使用率过高,会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端,执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode内存使用率过高,会影响到HDFS的数据读写性能。 可能原因 HDFS DataNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端,执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。
MR任务日志在HDFS上的归档路径 是 MR任务日志丢失 /tmp/hadoop-yarn/staging 固定目录 保存AM运行作业运行日志、作业概要信息和作业配置属性 否 任务运行异常 /tmp/hadoop-yarn/staging/history/done_intermediate 固定目录 所
通过资源计划在数据量变化前提前完成集群的扩缩容,避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩,两者既可同时配置也可单独配置。资源计划与基于负载的弹性伸缩规则叠加使用可以使得集群节点的弹性更好,足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群
找到类似JAVA_OPTS=“-Xms1024m -Xmx4096m”的配置,将其值根据需要进行修改,保存修改。 重启manager-executor进程,该进程在Master1和Master2节点上为主备部署,同一时刻只有一个节点上运行该进程,首先确认节点上是否有该进程,如果有该进程则进行重启操作。
CDL业务运行用户无权限在其他用户创建的数据库中创建表。 处理步骤 登录FusionInsight Manager,选择“系统 > 角色 > 添加角色”,填写角色名称,在“配置资源权限”表格中选择“待操作的集群名称 > Hive > Hive读写权限”,在待操作数据库所在行勾选“查询”、“删除”、“插入”、“建表
ionInsight-IoTDB-*/iotdb/ext/udf”下。 在部署集群的时候,需要保证每一个IoTDBserver节点的UDF JAR包路径下都存在相应的Jar包。您可以通过修改IoTDB配置“udf_root_dir”来指定UDF加载Jar的根路径。 IoTDBSe
及邮箱,让维护更加省心省力。 客户价值 配置消息通知后,可以实时给用户发送MRS集群健康状态,用户可以通过手机短信或邮箱实时接收到MRS集群变更及组件告警信息。MRS可以帮助用户轻松运维,实时监控,实时发送告警,操作灵活,使大数据业务部署更加省心省力。 特性描述 MRS联合消息通
ct User”,选择指定用户名。 单击Add Users按钮,在对应用户名所在行勾选“Is Role Admin”,单击“Save”保存配置,操作结束。 选择“系统 > 权限 > 角色”,添加一个拥有Hive管理员权限的角色。 在FusionInsight Manager页面,选择“系统
Job,Receiver对于Spark是一个普通的任务,但它的生命周期和Spark Streaming任务相同,并且占用一个核的计算资源。 在调试和测试等经常使用默认配置的场景下,要时刻注意核数与Receiver个数的关系。 父主题: Spark Streaming
xml”、“coordinator.xml”、“bundle.xml”三类,最终由Oozie引擎解析并执行。 流程属性文件 流程运行期间的参数配置文件,对应文件名为“job.properties”,每个流程定义有且仅有一个该属性文件。 keytab文件 存放用户信息的密钥文件。在安全
SecurityKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 public class SecurityKafkaWordCount { public static
cf1中所有列,column family cf0中列为vch的列,column family cf0中列lng中值为1000的列。 当HBase已经配置透明加密后,“批量删除”操作注意事项请参考7。 执行以下命令,加载HFiles。 hbase org.apache.hadoop.hbase
examples.KafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 public class KafkaWordCount { public static void
examples.KafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 public class KafkaWordCount { public static void