检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'binary:<value>')"} 回答 由于HBase的可扩展性，在查询表的时候，默认情况下会匹配被查询列的所有版本的值，即使被删除或被修改的值也可以查询出来。对于命中列失败的行（即在某一行中不存在该列），HBase会将该行查询出来。 如果用户仅需查询该表的最新值和命中列成功的行，可使用如下查询语句： scan
通过数据表，定义源表、维表、输出表的基本属性和字段信息。 创建FlinkServer流表源 创建SQL/JAR作业（流式/批作业） 定义Flink作业的API，包括Flink SQL和Flink Jar作业。 创建FlinkServer作业 作业管理 管理创建的作业，包括作业启动、开发、停止、删除和编辑等。
访问Presto的WebUI 用户可以通过Presto的WebUI，在图形化界面查看Presto的统计信息。Presto的WebUI界面不支持使用IE浏览器访问，建议使用Google浏览器访问。 前提条件 已安装Presto服务的集群。 已安装集群客户端，例如安装目录为“/opt
查看RDD在内存中的大小，如果数据太大，需要改变RDD的存储级别来优化。 操作步骤 优化GC，调整老年代和新生代的大小和比例。在客户端的“conf/spark-default.conf”配置文件中，在spark.driver.extraJavaOptions和spark.executor
Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class HoodieSortExample<T extends HoodieRecordPayload>
SQL无法查询到ORC类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表，在Spark
oint会很慢的问题？ 问题 如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？ 原因分析 由于窗口使用自定义窗口，这时窗口的状态使用ListState，且同一个key值下，value的值非常多，每次
日志归档规则：Storm的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过10MB的时候会自动压缩，压缩后的日志文件名规则为：“<原有日志名>.log.[编号].gz”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 审计日志压缩后的日志文件名规则为：“audit
周期性的收集集群指标信息并上报到CES。 告警属性 告警ID 告警级别 是否自动清除 12172 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或者系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 监控指标上报
on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics.switch 上报OBS监控指标开关： true表示打开 false表示关闭
使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题
在数据库“hdb”的“权限”列，勾选“查询”和“建表”。 单击“确定”完成。 在权限管理中，为了方便用户使用，授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题，取消表的任意权限，系统不会自动取消数据库目录的HDFS权限，但对应的用户只能登录数据库和查看表名。
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 AgentId 产生告警的Agent ID。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 产生告警的Flume Agent实例无法正常启动，定义在该实例下的数据传输任务暂时中断，对于实时数据传输，会丢失实时数据。
ink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。 GC的配置：在客户端的“conf/flink-conf
println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印，该如何查看此调试日志？避免与运行日志混在一起打印，如何将业务日志单独输出至指定文件？ 回答 Flink所有的运行日志打印都会打印至Yarn的本地目录下，默认所有Log都会输出至Yarn
code=0) 回答 Spark SQL建表底层调用的是Hive的接口，其建表时会在“/user/hive/warehouse”目录下新建一个以表名命名的目录，因此要求用户具备“/user/hive/warehouse”目录的读写、执行权限或具有Hive的group权限。 “/user/hiv
year：仅显示日期字符串的年份部分，并将月份和日期默认为01/01。 Custom：可使用任何有效返回与被屏蔽的列中的数据类型相同的数据类型来自定义策略。 如需添加多列的脱敏策略，可单击按钮添加。 单击“Add”，在策略列表可查看策略的基本信息。 用户通过Hive客户端对配置了数据脱敏策略的表执行
配置用户在具有读和执行权限的目录中创建外表 操作场景 此功能在MRS 3.x之前版本适用于Hive，Spark。在MRS3.x及后续版本适用于Hive，Spark2x。 开启此功能后，允许有目录读权限和执行权限的用户和用户组创建外部表，而不必检查用户是否为该目录的属主，并且禁止外表的loc
单击“实例”，查看Kafka Broker角色实例的IP地址。 记录Kafka角色实例其中任意一个的IP地址即可。 根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/cl
于以下场景： 更改DataNode角色的存储目录，所有DataNode实例的存储目录将同步修改。 更改DataNode单个实例的存储目录，只对单个实例生效，其他节点DataNode实例存储目录不变。 对系统的影响 更改DataNode角色的存储目录需要停止并重新启动HDFS服务，集群未完全启动前无法提供服务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
