检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
然后单击“Next”。 如果您需要新建Java语言的工程,选择对应参数即可。 图2 选择开发环境 在工程信息页面,填写工程名称和存放路径,设置JDK版本、Scala SDK版本,然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题: 准备Spark应用开发环境
filter-entity-list-by-user 严格视图启用开关,开启后,登录用户只能查看该用户有权限查看的内容。当要开启该功能时,同时需要设置参数“yarn.acl.enable”为true。 true 查看Mapreduce服务配置参数 参考修改集群服务配置参数进入Mapred
产生告警的角色名称。 NameService名 产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 单副本的数据在节点故障时容易丢失,单副本的文件过多会对HDFS文件系统的安全性造成影响。 可能原因 DataNode节点故障。
自定义”。在自定义配置项中,给参数文件“core-site.xml”添加配置项“mapreduce.jobhistory.always-scan-user-dir”,设置值为“true”。 保存配置,并重启Mapreduce服务。 父主题: MRS集群服务对接OBS示例
图SQL,推荐的物化视图语句可在HSConsole界面的物化视图推荐页面查看,可参考查看物化视图推荐结果。 开启物化视图推荐功能 设置维护实例 设置计算实例为维护实例之后,维护实例会对物化视图推荐功能所推荐的物化视图SQL进行自动创建、刷新、删除等操作,所产生的自动化任务记录可在
Guardian提供了如下表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。
说明: 在使用Hive进行联表查询,且关联的表无大小表的分别(小表数据<24MB)时,建议将此参数值修改为“false”,如果此时将此参数设置为true,执行联表查询时无法生成新的mapjoin。 true hive.default.fileformat Hive使用的默认文件格
查看磁盘空间是否不足 在MRS Manager界面,单击“告警管理”。 在告警列表中单击该告警的,从“定位信息”处获得“任务名”。 选择“系统设置 > 备份管理”。 根据“任务名”查找对应备份任务,选择“操作”栏下的“更多 > 查询历史”,查看备份任务的详细信息。 选择“详情 > 查看”,查看是否有“Failed
webUrl,String userName,String password,String userTLSVersion) webUrl 集群首页地址,从配置文件“UserInfo.properties”中获取。 userName 登录FusionInsight系统的用户名,从配置文件“UserInfo
DIR目录。 切回Mapreduce引擎后默认不读取目录下的文件,所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 此时可以设置参数set mapreduce.input.fileinputformat.input.dir.recursive=true,开启union优化,决定是否读取目录下的数据。
#构造函数中第二个入参 config: topology.workers: 1 #设置拓扑的worker数量为1 kafka.broker.properties: #设置kafka相关的配置,值为map结构 metadata.broker.list: "${metadata
#构造函数中第二个入参 config: topology.workers: 1 #设置拓扑的worker数量为1 kafka.broker.properties: #设置kafka相关的配置,值为map结构 metadata.broker.list: "${metadata
Module”,然后单击“Next”。 如果您需要新建Java语言的工程,选择对应参数即可。 图2 选择开发环境 在工程信息页面,填写工程名称和存放路径,设置JDK版本和Scala SDK,然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题: 准备Flink应用开发环境
然后单击“Next”。 如果您需要新建Java语言的工程,选择对应参数即可。 图2 选择开发环境 在工程信息页面,填写工程名称和存放路径,设置JDK版本、Scala SDK版本,然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题: 准备Spark应用开发环境
e_name}表示表名称): set hoodie.${table_name}.consume.mode=INCREMENTAL; //设置增量读取模式 set hoodie.${table_name}.consume.max.commits=3; // 指定最大消费的commits数量
newInstance(); 获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下: 在执行“DriverManager
MemArtsCC提供了如下表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。
Hive > 配置 > 全部配置”。 选择“HiveServer(角色) > 自定义”,对参数文件“hive-site.xml”添加自定义参数,设置“名称”为“hive.overwrite.directory.move.trash”,“值”为“true”。 单击“保存”保存配置。单击“
filter-entity-list-by-user 严格视图启用开关,开启后,登录用户只能查看该用户有权限查看的内容。当要开启该功能时,同时需要设置参数“yarn.acl.enable”为true。 说明: 此参数适用于MRS 3.x及后续版本集群。 true 查看MapReduce服务配置参数
进入客户端安装目录并设置环境变量,再认证用户并按照提示输入密码,该密码请向管理员获取。 cd 客户端安装目录 source bigdata_env kinit hdfs 如果集群未开启Kerberos认证,执行如下命令切换到omm用户,再进入客户端安装目录设置环境变量。 su -