检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“添加角色”，然后在“角色名称”和“描述”输入角色名字与描述。 在“配置资源权限”中，选择“待操作集群的名称 > Kafka”。 根据业务需求选择权限，具体配置项，请参见表1 表1 配置项说明 任务场景 角色授权操作 设置Kafka管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Kafka
、Bundle任务等。 使用表管理Hive、SparkSql中的元数据。需要MRS集群已安装Hive、Spark2x。 使用文件查看HDFS中的目录和文件。需要MRS集群已安装HDFS。 使用作业查看MRS集群中所有作业。需要MRS集群已安装Yarn。 使用HBase创建/查询H
导致该计算实例性能下降，业务SQL响应变慢。 可能原因 计算实例资源配置过小。 业务存在大SQL任务，占用过多计算资源，导致其他提交的任务无资源可用，整个计算实例响应变慢，造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight
条件逻辑为“OR”，如果未添加过滤条件，全部数据成为脏数据；或者原始数据满足任意添加的过滤条件，当前行成为脏数据。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： 配置“过滤行转换”算子，过滤掉含有test的行。 转换后，输入原字段，结果如下： 父主题： 转换算子
newInstance(); 获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连
执行以下命令，在集群A中的目录“/tmp”创建一个文件。 hdfs dfs -touchz hdfs://192.168.6.159:9820/tmp/mrstest.txt 访问集群A，在目录“/tmp”中可查询到“mrstest.txt”文件，则表示配置跨集群互信成功。 父主题： 集群互信管理
rConverter 回答 因为schema演进以非向后兼容的方式进行，此错误将再次发生。基本上，如果已经写入Hudi数据集parquet文件的记录R有一些更新U。R包含字段F，该字段包含某类数据类型，也就是LONG。U具有相同的字段F，该字段的数据类型是INT。Parquet FS不支持这种不兼容的数据类型转换。
条件逻辑为“OR”，如果未添加过滤条件，全部数据成为脏数据；或者原始数据满足任意添加的过滤条件，当前行成为脏数据。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： 配置“过滤行转换”算子，过滤掉含有test的行。 转换后，输入原字段，结果如下： 父主题： Loader转换类算子
此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site.xml”配置文件在客户端安装
执行MRS集群健康检查 集群健康检查包含检查对象的“健康状态”、相关的告警和自定义的监控指标等三项检查项，但检查结果不能等同于界面上显示的“健康状态”。检查范围包含Manager、服务级别和主机级别的健康检查： Manager关注集群统一管理平台是否提供正常管理功能。 服务级别关注组件是否能够提供正常的服务。
此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site.xml”配置文件在客户端安装
Resources”是否近似等于“Max Resources”，即任务提交的队列中资源已经使用完毕，若队列资源不足，请在FusionInsight Manager的“租户资源 > 动态资源计划 > 资源分布策略”中调大队列的“最大资源”。重新运行任务后，查看是否不再上报告警。 是，处理完毕。 否，执行7。
在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行打包Storm业务步骤，打出source.jar。 操作步骤 安全模式下，请先进行安全认证。
如果集群内节点与集群外节点时间不同步，请登录集群外节点，并从1开始执行。 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件，并增加MRS集群中Master节点的IP并注释掉其他server的地址。 server master1_ip prefer server
用户修改域名后，会导致已安装的客户端配置和数据源配置失效，且新创建的集群不可用。对接不同域的数据源时，HetuEngine会自动的合并krb5.conf文件。域名修改后，kerberos认证的域名会发生变化，所以此前对接的数据源信息会失效。 回答 需要重新安装集群客户端。 参考管理HetuEn
setBufferTimeout(timeoutMillis); 资源冗余量 Flink任务运行时，建议整个集群的Yarn资源留有一定的余量。比如当前Yarn总体的资源有100Vcore，200GB，则建议Yarn的任务使用90vcore，180GB，保留10%的资源用于当部分节点故障时，任务可以自动重试恢复。
在权限管理中，授予元数据权限将自动关联HDFS文件权限，所以列授权后会增加表对应所有文件的HDFS ACL权限。 数据库授权 用户在Hive和HDFS中对自己创建的数据库拥有完整权限，用户访问别人创建的数据库，需要授予权限。授予权限时只需要授予Hive元数据权限，HDFS文件权限将自动关联。以授予用户
使用安装客户端的用户登录客户端所在节点，具体操作请参见使用客户端运行Loader作业。 执行以下命令，进入“backup.properties”文件所在目录。例如，Loader客户端安装目录为 “/opt/client/Loader/”。 cd /opt/client/Loader/loader-tools-1
解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 补丁兼容关系 MRS 1.9.0.6补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。 安装补丁的影响 安装MRS 1.9.0.6补丁期间会重启MRS
ALM-45643 RocksDB的MemTable大小持续超过阈值”的告警。 Level0层SST文件数太大，伴随有“ALM-45644 RocksDB的Level0层SST文件数持续超过阈值”的告警。 预估Compaction的大小超过阈值，伴随有“ALM-45647 RocksDB的Pending
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
