检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase的运行依赖 TableMapReduceUtil.addDependencyJars(job);
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase的运行依赖 TableMapReduceUtil.addDependencyJars(job);
配置LDAP输出审计日志 用户可以通过设置LDAP服务的审计日志输出级别，将审计内容输出至系统日志信息中（如“/var/log/messages”），用于查看用户的活动信息及操作指令信息。 LDAP的审计日志开启后，会产生大量日志信息，严重影响集群性能，请谨慎开启。 该章节仅适用于MRS
clickhouse-examples > Lifecycle > install”，双击“install”运行maven的insatll命令。 图2 maven工具的clean和install 将target目录下的clickhouse-examples-*.jar文件和“clickhouse-exa
云硬盘的类型和容量，例如：高IO|100GB 使用量类型 按需计费MRS集群的使用量类型为“时长” 单价 按需计费模式为简单定价（使用量*单价）时提供单价信息，其他的定价（如EIP公网带宽的阶梯定价）等不提供单价。 按需计费MRS集群属于简单定价，相应单价查询请参见： MRS服务管理费单价可在MRS价格计算器页查询。
选择“保存 > 确定”后等待操作成功。 滚动重启Yarn服务，输入密码并单击“确定”后等待操作成功。 进入主管理节点重启AOS服务。 使用PuTTY工具以omm用户登录主OMS服务器。 执行以下命令，防止“PuTTY”超时退出。 TMOUT=0 执行完本章节操作后，请及时恢复超时退出时间，
reduce-examples-3.1.2.jar" 如需使用hadoop fs删除OBS上文件，请使用hadoop fs -rm -skipTrash来删除文件。 spark-sql、spark-beeline在创建表时，若不涉及数据导入，则不会访问OBS。即若在一个无权限的OBS目录下创建表，CREATE
JobGateway常见参数 参数入口 请参考修改集群服务配置参数进入JobGateway服务配置页面。 参数说明 表1 JobGateway参数说明 参数 参数说明 默认值 HTTP_INSTANCE_PORT JobServer服务http端口。 默认值：29973 取值范围：29970~29979
“taskmanager.network.netty.sendReceiveBufferSize”：默认是系统缓冲区大小(cat /proc/sys/net/ipv4/tcp_[rw]mem) ，一般为4MB，表示netty的发送和接收的缓冲区大小。 “taskmanager.network.netty
/join并为一个，不但减少了大量的全局barrier，而且无需物化很多中间结果RDD，这将极大地提升性能。Spark把这个叫做流水线（pipeline）优化。 Transformation和Action（RDD的操作） 对RDD的操作包含Transformation（返回值还是
Flink常见开发问题 Flink作业提交时报错端口范围不足 Flink对接Elasticsearch作业运行一段时间后Checkpoint失败 Flink Jar包冲突报错ClassCastException类型转换异常 如何设置开源Flink中的znode存储目录 DGC方式如何创建Flink
MRS集群运维 MRS集群运维说明 登录MRS集群 查看MRS集群监控指标 MRS集群健康检查 MRS集群容量调整 备份恢复MRS集群数据 安装MRS集群补丁 MRS集群补丁说明 查看MRS集群日志 MRS集群安全配置 查看与配置MRS告警事件 MRS集群告警处理参考 配置MRS集群远程运维
应用开发操作步骤 确认Storm组件已经安装，并正常运行。如果业务需要连接其他组件，请同时安装该组件并运行。 将storm-examples导入到Eclipse开发环境，请参见准备Storm应用开发环境。 参考storm-examples工程src/main/resources/flux-ex
MRS 1.8.10.6补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.8.10.6 发布时间 2020-05-20 解决的问题 MRS 1.8.10.6 修复问题列表： MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS 1.8.10
也可直接使用Master节点中自带的集群客户端，安装目录为“/opt/Bigdata/client”。 为主Master节点绑定一个弹性IP并在安全组中放通22端口，然后使用root用户登录主Master节点，进入客户端所在目录并加载变量。 cd /opt/client source
用户认证及权限类 登录MRS集群Manager的用户是什么？ 集群内用户密码的过期时间如何查询和修改？ 如果不开启Kerberos认证，MRS集群能否支持访问权限细分？ 如何给集群内用户添加租户管理权限？ Hue WebUI有配置账号权限的功能吗？ 为什么IAM子账号添加了MRS权限却无法在控制台提交作业？
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer
配置FlinkServer UDF安全沙箱 本章节适用于MRS 3.3.1及以后版本。 用户可以根据作业需要，通过Flink Web UI界面上传UDF、依赖等第三方Jar包，并在SQL作业校验、运行作业时调用相关依赖。为了确保上传的Jar是安全的，Flink默认开启了沙箱功能，
使用Yarn 集群启动Yarn后产生大量作业占用资源 通过客户端hadoop jar命令提交任务后返回“GC overhead”报错 Yarn汇聚日志过大导致节点磁盘被占满 MapReduce任务异常，临时文件未删除 Yarn客户端的端口信息错误导致提交任务后报错connection
建立Kudu连接 功能简介 通过KuduClient.KuduClientBuilder(KUDU_MASTERS).build()方法创建KuduClient对象。传入的参数KUDU_MASTERS为Kudu集群的Master地址列表，如果有多个Master节点，则中间用半角逗号隔开。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
