检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟:主机网络写包
Datasource Avro格式查询异常 问题 Datasource Avro格式查询报错,提示Caused by: org.apache.spark.sql.avro.IncompatibleSchemaException。 回答 针对avro格式表查询报错,根本原因是avro格式
r/filecache/”下的log4j旧版本的包,需要重新提交相关的yarn作业,才会加载新的log4j的包。 MRS 3.1.2-LTS版本的补丁安装过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。 MRS 3
数据分析代码实现,请见查询Hive表数据。 查看薪水支付币种为美元的雇员联系方式。 查询入职时间为2014年的雇员编号、姓名等字段,并将查询结果加载进表employees_info_extended中的入职时间为2014的分区中。 统计表employees_info中有多少条记录。 查询使用以“cn”结尾的邮箱的员工信息。
Policy”,根据业务场景规划配置相关用户或者用户组的资源访问策略。 不同组件的访问策略配置样例参考: 添加CDL的Ranger访问权限策略 添加HDFS的Ranger访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略 添加Yarn的Ranger访问权限策略 添
在弹窗“IAM用户同步”的“待同步”页面,搜索需要同步IAM用户所在的用户组,单击对应的用户组名称。在“用户”中勾选需要同步的IAM用户,单击“同步”。 如需同步所有的用户,在“待同步”中勾选“全部同步”即可。 如只勾选“用户组”,该用户组下的用户不会同步,必须勾选“用户组”下对应的用户名称才能同步。
表列名”时,默认该表的所有列或者是“SQL语句”配置项里配置的查询条件中指明的列。 配置的输入字段个数不能大于实际指定的列数,否则全部数据成为脏数据。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。 样例 以sqlserver 2014为例,创建测试表test: create
单查询。 图2 车联网行业海量数据存储场景 该场景下MRS的优势如下所示。 实时:利用Kafka实现海量汽车的消息实时接入。 海量数据存储:利用HBase实现海量数据存储,并实现毫秒级数据查询。 分布式数据查询:利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通
可使用全局二级索引工具检查用户数据和索引数据的一致性,如果索引数据与用户数据不一致,该工具可用于重新构建索引数据。 检查全局二级索引数据一致性 在HBase客户端执行以下命令可检查数据一致性,如果不一致,将重新构建索引数据。一致性检查结果会保存到“{数据表所在的NameSpace}:GSI_I
等数据源的能力。对于Hudi数据源调优,可以分为对Hudi表本身和对集群环境的调优。 Hudi表调优 可参考如下建议优化表和数据设计: 建表时尽量按照频繁使用的过滤条件字段进行分区。 如果大部分查询场景均带有主键或主键子集的等值查询,建议使用bucket索引建表,并将查询字段作为分桶键。
g, pattern, function) → varchar 描述:使用function替换与字符串中的正则表达式模式匹配的子字符串的每个实例。对于每个匹配,以数组形式传递的捕获组都会调用lambda表达式函数。捕获组号从1开始;整个匹配没有分组(如果需要,请用括号将整个表达式括起来)。
用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_hudi”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add New
option(TABLE_NAME, tableName). mode(Overwrite). save(tablePath)} 查询数据: def queryData(spark: SparkSession, tablePath: String, tableName: String
option(TABLE_NAME, tableName). mode(Overwrite). save(tablePath)} 查询数据: def queryData(spark: SparkSession, tablePath: String, tableName: String
Policy”,根据业务场景规划配置相关用户或者用户组的资源访问策略。 不同组件的访问策略配置样例参考: 添加HDFS的Ranger访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略 添加Yarn的Ranger访问权限策略 添加Spark2x的Ranger访问权限策略
option(TABLE_NAME, tableName). mode(Overwrite). save(tablePath)} 查询数据: def queryData(spark: SparkSession, tablePath: String, tableName: String
使用HBase二级索引读取数据 功能介绍 在具有HIndexes的用户表中,HBase使用Filter来查询数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HIndexExample”类的scanDataByHIndex方法中 public
默认情况下,用户的密码有效期是90天,所以获取的keytab文件的有效期是90天。如果需要延长该用户keytab的有效期,请修改用户的密码策略并重新获取keytab。 Kerberos服务的renewable、forwardable开关和票据刷新周期的设置在Kerberos服务的配置页面
ion的locators分配进行重新规划。 2 创建一批新的locators,并重新规划数据存放方式。 旧的locators使用的是旧的数据节点,而新创建的locators偏重使用新的数据节点,所以需要根据实际业务对数据的使用需求,重新规划locators的使用。 一般的,建议用
ion的locators分配进行重新规划。 2 创建一批新的locators,并重新规划数据存放方式。 旧的locators使用的是旧的数据节点,而新创建的locators偏重使用新的数据节点,所以需要根据实际业务对数据的使用需求,重新规划locators的使用。 一般的,建议用