检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
点规格。 弹性伸缩：根据业务数据量的变化动态调整集群节点数量以增减资源，请参见配置弹性伸缩规则。 在创建集群时，Task节点只配置了弹性伸缩的取值范围，而没有配置实例数量时，当前不会产生实际费用。如果客户配置了实例数量，则产品报价会在浏览器下方即时显示出来。当满足弹性伸缩条件时，扩缩容节点后会影响实际费用。
an。 clean_hours_retained clean保留多长时间内的数据文件。 否，默认24小时。 clean_commits_retained clean保留多少commits写的数据文件。 否，默认10。 archive_policy archive使用的执行策略。 否，默认使用时间策略。
Kafka的依赖包路径，如--jars $(files=($SPARK_HOME/jars/streamingClient010/*.jar); IFS=,; echo "${files[*]}") 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令如下（类名与文件名等请与实际代码保持一致，此处仅为示例）：
session.timeout.ms之间。 以上参数可以根据实际情况进行适当的调整，特别是max.poll.records，这个参数是为了控制每次poll数据的records量，保证每次的处理时长尽量保持稳定。目的是为了保证poll数据以后的处理时间不要超过session.timeout
在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包，并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下，具体步骤请参考在Linux调测程序。 使用集群安装用户登录集群客户端节点。 cd /opt/client
private def printUsage { System.out.println("Usage: {checkPointDir} {topic} {brokerList} {zkQuorum}") System.exit(1) } } 父主题： Streami
除了导入MapReduce样例工程，您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具，选择“File > New > Project”，如图1所示。 图1 创建工程 在“New Project”页面选择“Java”，然后配置工程需要的J
除了导入MapReduce样例工程，您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具，选择“File > New > Project”，如图1所示。 图1 创建工程 在“New Project”页面选择“Java”，然后配置工程需要的J
堆栈，并输出到本地文件。 jstack <PID> > allstack.txt 获取线程堆栈，并输出到本地文件。 将需要的线程ID转换为16进制格式。 printf "%x\n" <PID> 回显结果为线程ID，即TID。 使用命令获得TID,并输出到本地文件。 jstack <PID>
Kafka的依赖包路径，如--jars $(files=($SPARK_HOME/jars/streamingClient010/*.jar); IFS=,; echo "${files[*]}") 进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令如下（类名与文件名等请与实际代码保持一致，此处仅为示例）：
luster模式下稍有不同。 yarn-client模式下 在除--jars参数外，在客户端“spark-defaults.conf”配置文件中，将“spark.driver.extraClassPath”参数值中添加客户端依赖包路径，如“$SPARK_HOME/lib/streamingClient/*”。
中，未允许MRS集群内节点直接访问MRS补丁所在的OBS文件桶，导致无法将最新补丁下载到集群内进行安装。 解决办法 在集群所在VPC对应重点节点策略中，将当前Region的补丁桶放通，以保证MRS集群节点可以正常获取补丁文件。 使用具有管理权限的用户登录终端节点控制台。 单击管理
kerberos.keytab=<keytab文件路径>--conf spark.kerberos.principal=<Principal账号> 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --keytab<keytab文件路径>--principal<Principal账号>
kerberos.keytab=<keytab文件路径> --conf spark.kerberos.principal=<Principal账号> 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --keytab <keytab文件路径> --principal <Principal账号>
try { table.close(); } catch (IOException e) { System.out.println("Can not close table."); } finally { table
启。 本章节操作适用于MRS 3.x及之后版本。 配置描述 在客户端的“mapred-site.xml”配置文件中进行如下配置。“mapred-site.xml”配置文件在客户端安装路径的config目录下，例如“/opt/client/Yarn/config”。 表1 参数说明
生成compaction计划（op指定为“schedule”），或者执行已经生成的compaction计划（op指定为“run”） 是 table 需要查询表的表名，支持database.tablename格式 否 path 需要查询表的路径 否 timestamp 在op指定为“run”时，可以指定timestam
如果集群内节点与集群外节点时间不同步，请登录集群外节点，并从1开始执行。 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件，并增加MRS集群中Master节点的IP并注释掉其他server的地址。 server master1_ip prefer server
在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行生成Storm应用Jar包步骤，生成storm-examples-1.0
在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行打包Storm业务步骤，打出source.jar。 操作步骤 安全模式下，请先进行安全认证。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
