检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 确保Flink客户端的“flink-conf.yaml”配置文件中的认证相关配置项已经配置正确,请参考准备Flink安全认证。 安全模式下需要将客户端安装节点的业务IP地址以及Manager的浮动IP地址追加到“flink-conf
备份管理”。 在任务列表指定任务的“操作”列,选择“更多 > 查询历史”。 在弹出的窗口中,指定一次成功执行的“备份路径”,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”中选中备份文件的完整路径并复制。
策略允许条件,配置本策略内允许的权限及例外,例外条件优先级高于正常条件。 在“Select Role”、“Select Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户,单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add
目录下的样例工程,可根据实际业务场景选择对应的样例,相关样例介绍请参见HBase应用开发样例工程介绍。 若需要在本地Windows调测HBase样例代码,需参考表1放置各样例项目所需的配置文件、认证文件: 表1 放置各样例项目所需的配置文件/认证文件 样例工程位置 需放置的配置/认证文件
Table 将适用该策略的表。 可支持通配符“*”,例如“table1:*”表示table1下的所有表。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。 说明: Ranger界面上HBase服务插件的“hbase.rpc.
Table 将适用该策略的表。 可支持通配符“*”,例如“table1:*”表示table1下的所有表。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。 说明: Ranger界面上HBase服务插件的“hbase.rpc.
第一次采集的数据中,第4列的数字是“rd_ios_old”,第8列的数字是“wr_ios_old”,第13列的数字是“tot_ticks_old”。 第二次采集的数据中,第4列的数字是“rd_ios_new”,第8列的数字是“wr_ios_new”,第13列的数字是“tot_ticks_new”。 则上图中svctm值为:
Doris权限管理系统实现了行级别细粒度的权限控制,和基于角色的权限访问控制。 仅MRS 3.3.0及之后版本开启Kerberos认证的集群支持通过FusionInsight Manager创建角色进行赋权,如果集群为MRS 3.3.0之前的版本,无论是否开启Kerberos认证,
Kafka服务是否开启安全模式标记文件。 producer.properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows
首次安装先安装一台服务器,然后按照继承批量安装的方式安装其他所有主机。 创建主机组,把1中已安装的ICAgent的主机加到主机组里面。 在云日志服务管理控制台,单击“主机管理”,进入主机管理页面,单击右上角“新建主机组”。 在弹出的新建主机组页面,输入“主机组名称”,选择主机类型
其中20160220为输入的日期,/user/loader/schedule_01为输出的路径。 通过以上过滤规则,拼凑到的字符串“*20160221.txt”,会作为文件过滤器的模糊匹配模式,在作业配置的输入路径下,所有符合“*20160221.txt”这个模式的文件都将被作业处理。
其中20160220为输入的日期,/user/loader/schedule_01为输出的路径。 通过以上过滤规则,拼凑到的字符串“*20160221.txt”,会作为文件过滤器的模糊匹配模式,在作业配置的输入路径下,所有符合“*20160221.txt”这个模式的文件都将被作业处理。
txt文件在Alluxio中,各参数含义为文件的大小、是否被持久化、创建日期、Alluxio中这个文件的缓存占比、文件名。 使用cat命令打印文件的内容。 alluxio fs cat /test_input.txt 命令执行后回显: Test Alluxio Alluxio中的挂载功能 Alluxio
HBase客户端一次写入、更新或删除的数据条数阈值,超过此阈值时会记录日志。 增大此参数的值。 hbase.client.scanner.warning.threshold.scanning.ratio HBase客户端单个Scan的Caching过大时(默认为最大值的40%),超过此阈值时会记录日志。
下载认证凭据”。 图6 下载认证凭据 将下载的认证凭据压缩包解压缩,并将得到的文件拷贝到客户端节点中,例如客户端节点的“/opt/hadoopclient/Flink/flink/conf”目录下。如果是在集群外节点安装的客户端,需要将得到的文件拷贝到该节点的“/etc/”目录下。 配置安全
信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Flink的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 RegionServer的Region数超出阈值,过多的Region会加剧RegionServer的负载,使得内存、磁盘IO、CPU
创建RDD. 以数据源的方式操作HBase,将上面生成的RDD写入HBase表中. 读取HBase表中的数据,并且对其进行简单的操作。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到
创建RDD. 以数据源的方式操作HBase,将上面生成的RDD写入HBase表中. 读取HBase表中的数据,并且对其进行简单的操作。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到S
<arg>:为JobManager设置内存。 -m,--jobmanager <arg>:要连接的JobManager的地址,使用该参数可以连接特定的JobManager。 -nl,--nodeLabel <arg>: 指定YARN application的nodeLabel 。 -nm,--name <arg>:为Yarn