检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
preemption.total_preemption_per_round 在一个周期内能够抢占资源的最大的比例。可使用这个值来限制从集群回收容器的速度。计算出了期望的总抢占值之后，策略会伸缩回这个限制。 0.1 yarn.resourcemanager.monitor.capacity.preemption
时候使用。 参数dfs.disk.balancer.top.nodes.number指定Top N节点返回的DataNode列表是不断重新计算的，因此不必设置的过大。 如果要在HDFS客户端通过命令行使用DiskBalancer功能，其接口如下： 表3 DiskBalancer功能的接口说明
字符截取的起点位置或终点位置，大于输入字段的长度时，当前行成为脏数据。 EL操作转换 传入数据为NULL值，不做转换处理。 输入一个或多个字段的值，输出计算结果。 输入类型和算子不兼容时，当前行为脏数据。 字符串大小写转换 传入数据为NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。
throws Exception { return tuple2.value(); } }); //汇总计算字数的总时间。 JavaPairDStream<String, Integer> wordCounts = lines.mapToPair(
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
取值范围：1~3600s proxy_connect_timeout 定义与代理服务器建立tcp连接的超时时间。使用数字和单位组合，m表示分钟，s表示秒。 默认值：3m 取值范围：1-60m或1-3600s proxy_timeout 与代理服务器的tcp连接上两次连续读取或写入操作之间的超时。如果在此
如果重置LDAP账户密码需要重启ACS，操作步骤如下： 使用PuTTY，以omm用户登录主管理节点，执行以下命令更新域配置： sh ${BIGDATA_HOME}/om-server/om/sbin/restart-RealmConfig.sh 提示以下信息表示命令执行成功： Modify realm successfully
例如：TMOUT=600，表示用户无操作600秒后超时退出。 执行以下命令，切换目录。 cd ${BIGDATA_HOME}/om-server/om/tools 执行以下命令，更新集群密钥。 sh updateRootKey.sh 根据界面提示，输入y： The root key
usionInsight_HD_8.1.0.1/1_23_HiveServer/etc/hive-site.xml”文件中“hive.server2.async.exec.threads”数量，适当增大该数值（如：增大原数值的20%）。 保存更新配置。 查看本告警是否恢复。 是，操作结束。
在需导出文件的用户所在行，选择“更多 > 下载认证凭据”。 选择认证凭据下载位置，并配置相关参数。 如果下载到服务器或远端节点，请在使用完成后及时删除，避免认证凭据泄漏。 浏览器：下载到本地电脑。 服务器端：下载到集群的主OMS节点上。 文件生成后默认保存在主OMS节点“/tmp/FusionIn
/opt/hadoopclient 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，修改kadmin/admin密码。此操作对所有服务器生效。如果密码丢失将不可找回，请妥善保管。 kpasswd kadmin/admin 输入用户密码后（默认密码为Admin@123），设置新密码。新密码的默认复杂度要求：
max_memory_usage_for_all_queries 单台服务器上所有查询的内存使用量，默认没有限制。建议根据机器的总内存，预留一部分空间，防止内存不够导致服务或者机器异常。 0 机器总内存的80% 否 max_memory_usage 单个查询在单台服务器的能使用的最大内存。 10G 50GB 否（新版本可通过多租户方式配置）
Manager页面，具体请参见访问集群Manager，然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/MRS-client”。 图1 仅下载客户端的配置文件
topic中的角色称为Producer。 Consumer 从Kafka Topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 父主题： Kafka开发指南（普通模式）
业务2的数据通过socket接收消息记录，可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>，启动一个简易的文本服务器。 启动应用程序连接netcat监测的port成功后，向netcat终端输入数据信息。 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。
业务2的数据通过socket接收消息记录，可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>，启动一个简易的文本服务器。 启动应用程序连接netcat监测的port成功后，向netcat终端输入数据信息。 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。
1/bin”目录，将刚打出的source.jar提交（如果在Windows上进行的打包，则需要将Windows上的source.jar上传到Linux服务器，假定上传到“/opt/jartarget”目录），执行命令：storm jar /opt/jartarget/source.jar com
因为数据模型在建表时就已经确定，且无法修改。所以，选择一个合适的数据模型非常重要。 Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，非常适合有固定模式的报表类查询场景。但是该模型对count(*)查询不友好。同时因为固定了Value列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语义正确性。
如果该主机没有域名，则运行样例程序会有如下报错： 此时需要用户设置系统的环境变量USERDNSDOMAIN以规避该问题，具体如下： 单击“计算机”右键，选择“属性”，然后选择“高级系统设置 > 高级 > 环境变量”。 设置系统环境变量，在系统变量下单击“新建”，弹出新建系统变量框
因为数据模型在建表时就已经确定，且无法修改。所以，选择一个合适的数据模型非常重要。 Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，适合有固定模式的报表类查询场景，但是该模型不适用于count(*)查询。同时因为固定了Value列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语义正确性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
