检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
code=0) 原因分析 客户查询大量数据，数据量过大。 客户在检索数据时使用select * from table_name;，进行全表查询，表内数据过多。 beeline默认启动内存128M，查询时返回结果集过大，导致beeline无法承载导致。 解决办法 执行select count(*)
登录FusionInsight Manager页面。 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”，参考表1调整集群节点资源配置参数。 表1 集群节点资源配置参数 参数名称 默认值 建议值 参数解释 参数文件 yarn.hetuserver.engine.coordinator
between client and server错误。 hadoop.rpc.protection参数表示数据可通过以下任一方式在节点间进行传输。 privacy：指数据在鉴权及加密后再传输。这种方式会降低性能。 authentication：指数据在鉴权后直接传输，不加密。这种方式能保证性能但存在安全风险。
参数TABLE_NAME和REGION_NAME分别为指定的表名和Region名，如果指定参数'FILTER_BY_OP' => 'AND'，则返回的每条结果必须匹配所有的指定条件，否则只需匹配任一条件即可。 查看指定用户、指定客户端的慢请求，以下命令表示返回满足USER或CLIENT_IP的结果：
Key构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划 基于BulkPut接口使用章节创建的HBase表及其中的数据进行操作。 开发思路 创建包含了要删除的rowkey信息的RDD。 以HBas
MRS集群的按需计费模式按小时进行结算，按需计费资源的扣费时间可能会滞后于结算周期。 使用资源ID查看指定资源的账单 登录管理控制台，选择“大数据 > MapReduce服务 MRS”，进入MRS现有集群列表。 单击需要查询的集群名称，单击“节点管理”，查询并记录需要查看费用账单的集群节点ID。
通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划 在客户端执行：hbase shell命令进入HBase命令行。 使用下面的命令创建HBase表： create 'table2','cf1' 开发思路 将要导入的数据构造成RDD。
html。 启用Kerberos认证的集群使用Presto查询Hive Catalog的数据时，运行Presto客户端的用户需要有Hive表的访问权限，并且需要在Hive beeline中执行命令grant all on table [table_name] to group hive;，给Hive组赋权限。
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内
Job基线的确定有如下三个原则： 充分利用集群资源 Reduce阶段尽量放在一轮 每个Task的执行时间要合理 操作步骤 原则一：充分利用集群资源。 Job运行时，会让所有的节点都有任务处理，且处于繁忙状态，这样才能保证资源充分利用，任务的并发度达到最大。可以通过调整处理的数据量大小，以及调整map和reduce个数来实现。
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内
口重试。但是有个默认重试次数，为16次。16次重试都失败后，会放弃该任务的运行。 查看端口是否被占用： ssh -v -p port username@ip 如果输出“Connection established”，则表示连接成功，端口已被占用。 Spark UI端口范围由配置文件spark-defaults
Job基线的确定有如下三个原则： 充分利用集群资源 Reduce阶段尽量放在一轮 每个Task的执行时间要合理 操作步骤 原则一：充分利用集群资源。 Job运行时，会让所有的节点都有任务处理，且处于繁忙状态，这样才能保证资源充分利用，任务的并发度达到最大。可以通过调整处理的数据量大小，以及调整map和reduce个数来实现。
owKey构造成rdd，然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于BulkPut接口使用章节中创建的HBase表及其中的数据进行操作。 开发思路 创建包含了要获取的rowkey信息的RDD。 以HBaseC
t的方式去操作HBase，使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造需要遍历的HBase表中rowkey的RDD。 使用mapPartition接口遍历上述rowkey对应的数据信息，并进行简单的操作。
rowKey构造成rdd，然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作采用如下格式的命令，不属于本接口范围，不在此进行详细说明： hbase org.apache.hadoop.hbase.mapreduce
通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划 在客户端执行：hbase shell命令进入HBase命令行。 使用下面的命令创建HBase表： create 'table2','cf1' 开发思路 将要导入的数据构造成RDD。
rowKey构造成rdd，然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作采用如下格式的命令，不属于本接口范围，不在此进行详细说明： hbase org.apache.hadoop.hbase.mapreduce
是 Array of strings 参数解释： 角色部署信息。可以指定节点组中部署的角色，该参数是一个字符串数组，每个字符串表示一个角色表达式。 角色表达式定义： 当该角色在节点组所有节点部署时： {role name}，如“DataNode”。 当该角色在节点组指定下标节点部署时：{role
在首页中单击“HDFS”区域的组件插件名称，例如“hacluster”。 单击“Add New Policy”，添加HDFS权限控制策略。 根据业务需求配置相关参数。 表1 HDFS权限参数 参数名称 描述 Policy Name 策略名称，可自定义，不能与本服务内其他策略名称重复。 Policy Conditions
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
