检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
群。 数据规划 如果使用自定义数据源，需保证源端集群和目标端之间网络端口通信正常。 如果使用Kafka，MySQL等外源数据，需要确保对应用户具备数据操作的权限。 开发思路 导入Flink相关依赖包，版本需与集群Flink版本一致。 构建源端数据源。 构建目标端Elasticse
取消正在运行的planfile，同样需要使用绝对路径。 在客户端执行此命令时，用户需要具备supergroup权限。可以使用HDFS服务的系统用户hdfs。或者在集群上创建一个具有supergroup权限的用户，再在客户端中执行此命令。 表3只说明了命令接口的含义及使用方法，实际每个
性申请executor，因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据，运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min（或平均查询时间）。
自定义Flink log4j日志输出级别不生效 用户问题 MRS 3.1.0集群自定义Flink log4j日志级别不生效。 问题现象 在使用MRS 3.1.0集群Flink数据分析时，将“$Flink_HOME/conf”目录下的“log4j.properties”文件中日志级别修改为INFO级别日志。
性申请executor，因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据，运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min（或平均查询时间）。
点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD
enabled保持默认。 正确配置SSL： 配置keystore或truststore文件路径为相对路径时，Flink Client执行命令的目录需要可以直接访问该相对路径。 security.ssl.internal.keystore: ssl/flink.keystore security.ssl
block大小。 put适合的场景： 每次加载到单个Region的数据大小小于HDFS block大小的一半。 数据需要实时加载。 加载数据过程不会造成用户查询速度急剧下降。 父主题： HBase应用开发常见问题
TBLPROPERTIES('SORT_COLUMNS'='column1') 在执行该命令后，新的导入会使用新的SORT_COLUMNS配置值。 用户可以根据查询的情况来调整SORT_COLUMNS，但是不会直接影响旧的数据。所以对历史的segments的查询性能不会受到影响，因为历史的
信息已经保存在RMStateStore中，无法变更，因此从ResourceManager Web UI页面是无法进行正常跳转的，但可以直接访问新的JobHistoryServer服务地址进行查找，作业信息不会丢失。 父主题： MapReduce常见问题
libsasl2.so.3 (libc6) => /usr/lib/libsasl2.so.3 如果仅存在3.x版本，需要执行如下命令创建软链接 ln -s /usr/lib64/libsasl2.so.3.0.0 /usr/lib64/libsasl2.so.2 父主题： 调测Hive应用
OutputMode.Complete()”语句的判断结果（outputMode的默认输出方式为“append”）。 处理方法：编写应用时，用户可以根据具体情况修改数据的输出方式。 将输出方式修改为“complete”，“recoverFromCheckpointLocation”
server会定期向master发送心跳。 kudu kudu的管理工具，可以用来检查集群的健康状况、日常运维等操作。 keytab文件 存放用户信息的密钥文件，应用程序采用此密钥文件在组件中进行API方式认证。 Schema 表信息，用来表示表中列的信息。 父主题： Kudu应用开发概述
OutputMode.Complete()”语句的判断结果（outputMode的默认输出方式为“append”）。 处理方法：编写应用时，用户可以根据具体情况修改数据的输出方式。 将输出方式修改为“complete”，“recoverFromCheckpointLocation”
令行中加入表1中的参数。 表1 增强BulkLoad效率的配置项 参数 描述 配置的值 -Dimporttsv.mapper.class 用户自定义mapper通过把键值对的构造从mapper移动到reducer以提高性能。mapper只需要把每一行的原始文本发送到reducer
运行此样例代码需要设置运行用户，设置运行用户有两种方式，添加环境变量HADOOP_USER_NAME或者修改代码设置运行用户。若在没有修改代码的场景下，执行以下语句添加环境变量： export HADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举
在资源池场景下，假设该集群上有8个节点，通过NodeLabel特性将集群划分为两个资源池，pool A和pool B，其中pool B包含两个节点。用户提交了一个任务App1到pool B，由于HDFS空间不足，App1运行失败，导致pool B的两个节点都被App1的AM加入了黑名单，根
du.reserved.percentage”来配置预留磁盘空间占总磁盘空间大小的百分比，那样可以基于总的磁盘空间来预留磁盘百分比。 如果用户同时配置“dfs.datanode.du.reserved.percentage”和“dfs.datanode.du.reserved”，
在资源池场景下，假设该集群上有8个节点，通过NodeLabel特性将集群划分为两个资源池，pool A和pool B，其中pool B包含两个节点。用户提交了一个任务App1到pool B，由于HDFS空间不足，App1运行失败，导致pool B的两个节点都被App1的AM加入了黑名单，根
务切换指导操作。 关闭主集群写功能 下载并安装HBase客户端。 具体请参考安装MRS客户端章节。 在备集群HBase客户端，以hbase用户执行以下命令指定备集群写数据状态关闭。 cd 客户端安装目录 source bigdata_env kinit hbase hbase shell
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
