检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。
Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题 MRS大数据组件 解决Ranger日志不能设置个数，有撑满磁盘风险的问题 MRS 1.9.0.2 修复问题列表： MRS Manager 解决集群中部分Core节点互信丢失问题 解决补丁安装后添加实例失败问题
Manager首页，选择“集群 > 待操作集群的名称 > 服务> Oozie > 配置”，选择“全部配置”，在搜索栏里搜索“GC_OPTS”参数，查看参数中是否有“-XX: MaxMetaspaceSize”。如果是，将“-XX: MaxMetaspaceSize”的值根据实际情况调大。如果否，手动添加“-XX:
实现将对应列的数据加密。只支持对存储在HDFS上的TextFile和SequenceFile文件格式的Hive表进行列加密，不支持视图以及Hive over HBase场景。 Hive列加密机制目前支持的加密算法有两种，在建表时指定： AES：对应加密类名称为“org.apache
Spark Streaming调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是秒级时延和高吞吐量。因此Streaming调优的目标是在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。
于提交SQL语句和SQL脚本文件查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句涉及敏感信息，请使用Script提交。 提交Hive作业 提交Spark作业 Spark基于内存进行计算的分布式计算框架。Spark支持提交Spark Jar和Spark python程序，执行Spark
说明： user.keytab文件从下载用户flume_hdfs的kerberos证书文件中获取，另外，确保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。 hdfs.useLocalTimeStamp 是否使用本地时间，取值为"true"或者"false"。
IOException 第1种方法较之第2种方法，在性能上有明显的弱势。因此，写数据时应该采用第2种方法。 Scan时指定StartKey和EndKey 一个有确切范围的Scan，在性能上会带来较大的好处。 代码示例： Scan scan = new Scan(); scan.addColumn(Bytes
Permissions：Create和select 图6 新增hbasedev的访问控制策略 单击“Add”，完成策略添加，依据如上Policy，testuser用户组中的testuser用户拥有对HBase中“default”namespace下的“test1”表中“cf1:name”列有Create
ORT”获得。 普通模式下，初始安装后IoTDB有一个默认用户：root，密码请参见用户账号一览表章节获取。该用户为管理员用户，固定拥有所有权限，无法被赋予，无法被撤销权限，也无法被删除。 需在本地环境变量中设置环境变量认证用户名和认证用户密码，建议密文存放，使用时解密，确保安全。其中：
如上步骤中，故障节点“10-10-10-153”同步数据到“PeerID”为“abc1”的备集群失败。 继续执行list_peers命令，查找该“PeerID”对应的集群和HBase实例。 PEER_ID CLUSTER_KEY STATE TABLE_CFS abc1 10.10.10.110,10.10
Permissions：Create和select 图3 新增hivedev的访问控制策略 单击“Add”，完成策略添加，依据如上Policy示例，testuser用户组中的testuser用户将对Hive的“test”数据库中的表“table1”的“name”列有Create和select的权限，而对于其他列则没有任何的访问权限。
设置的值，不随动态扩缩容个数变化而改变。 实例开启动态扩缩容后，重启HSBroker和Yarn服务会影响扩缩容功能，如需重启，建议先关闭实例的动态扩缩容功能。 进行计算实例扩容时，需要当前队列有足够的资源进行扩容，否则扩容无法达到预期，并影响后续缩容操作。 手动扩缩容可以设置超时
查看此告警信息是否自动清除。 是，处理完毕。 否，执行12。 检查是否防火墙禁用端口。 执行命令lsof -i :20012查询主备节点的心跳端口是否打开，有查询结果说明端口已经开放，否则说明端口被防火墙禁用。 是，执行13。 否，执行16。 执行命令iptables -P INPUT ACCEPT，防止与服务器断开。
说明： user.keytab文件从下载用户flume_hdfs的kerberos证书文件中获取，另外，确保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。 hdfs.useLocalTimeStamp 是否使用本地时间，取值为"true"或者"false"。
如果不符合标签策略的规则，则可能会导致集群/节点创建失败，请联系组织管理员了解标签策略详情。 标签共由两部分组成：“标签键”和“标签值”，其中，“标签键”和“标签值”的命名规则如表1所示。 表1 标签命名规则 参数 规则 样例 标签键 不能为空。 对于同一个集群，Key值唯一。 长度不超过128个字符。
Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题 MRS大数据组件 解决Ranger日志不能设置个数，有撑满磁盘风险的问题 MRS 1.9.0.2 修复问题列表： MRS Manager 解决集群中部分Core节点互信丢失问题 解决补丁安装后添加实例失败问题
log.*.current 检查日志中是否有元空间大小不足、或堆内存大小不足的报错。 是，执行14。 否，执行17。 执行su - omm切换为omm用户，根据集群版本编辑对应文件，并适当增大“nodeagent.Xms”初始堆内存参数值和“nodeagent.Xmx”最大堆内存参数值大小，保存修改。
指定为具体的表字段 hoodie.datasource.write.payload.class 在更新过程中，该类用于提供方法将要更新的记录和更新的记录做合并，该实现可插拔，如要实现自己的合并逻辑，可自行编写。 org.apache.hudi.common.model.Defaul
into dsrTable select * from srcTabble 开启log列裁剪，提升mor表查询效率 mor表读取的时候涉及到Log和Parquet的合并，性能不是很理想。可以开启log列裁剪减少合并时IO读取开销 SparkSQL执行查询，先执行： set hoodie.enable
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
