检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Alluxio常用操作 前期准备 创建安装Alluxio组件的集群。 以root用户登录集群的主Master节点，密码为用户创建集群时设置的root密码。 执行如下命令，配置环境变量。 source /opt/client/bigdata_env 使用Alluxio Shell Alluxio
Channel：基于预写式日志（Write-Ahead Logging，简称WAL）的持久化实现 JDBC Channel：基于嵌入Database的持久化实现 Channel支持事务特性，可保证简易的顺序操作，同时可以配合任意数量的Source和Sink共同工作。 Sink S
Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default
Spark从Hive读取数据再写入HBase样例程序开发思路 场景说明 假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。 现person表有记录name=1,account=100，表示用户1在当天消费金额为100元。
多流Join场景支持配置表级别的TTL时间 本章节适用于MRS 3.3.0及以后版本。 在Flink双流Join场景下，如果Join的左表和右表其中一个表数据变化快，需要较短时间的过期时间，而另一个表数据变化较慢，需要较长时间的过期时间。目前Flink只有表级别的TTL（Time
通用接口UserGroupInformation认证。 根据实际情况，在JDBCExample或JDBCExamplePreLogin类中修改“USER_NAME”为实际用户名，例如“developuser”，样例代码如下： // 设置新建用户的USER_NAME，其中"xxx"
开启Kerberos认证集群需要将4获取的user.keytab和krb5.conf拷贝到的/opt/presto_examples/conf下，并修改样例代码中conf目录下的presto.preperties。未开启Kerberos认证集群无须执行此步骤。 表1 presto.preperties参数说明
ontainer自动清理该目录，因此yarn-cluster模式不存在此问题。 解决措施 可在Linux下设置/tmp临时目录自动清理，或修改客户端中spark-defaults.conf配置文件的spark.local.dir配置项的值，将临时目录指定到特定的目录，再对该目录单独设置清理机制。
fromArgs(args); final String hostName = paraTool.get("hostName"); // 修改hosts文件，使用主机名 final String keytab = paraTool.get("keytab");
否，需要先安装MRS 3.2.0-LTS.1.8补丁，安装完需要重启相关服务，具体请参考MRS 3.2.0-LTS.1.8版本补丁说明。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案，是否有记录相关非标操作。 是，需要详细评估补丁跟非标配置的兼容性。 否，检查结束。
查看阈值超过情况，找到内存使用百分比超阈值的节点。 通过增加节点、重新规划任务等方式，处理Tserver节点内存使用百分比过高的问题，或修改阈值。 在“运维 > 告警”页签，查看该告警是否恢复。 是，处理完毕。 否，执行4。 收集故障信息 在FusionInsight Manager首页，单击“运维
配置内存 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults
将各服务端节点的“spark-examples_2.10-1.5.1.jar”包删除。 在客户端“spark-defaults.conf”配置文件中，修改或增加配置选项“spark.driver.userClassPathFirst = true”。 父主题： Spark应用开发常见问题
开启Kerberos认证集群需要将4获取的user.keytab和krb5.conf拷贝到的/opt/presto_examples/conf下，并修改样例代码中conf目录下的presto.preperties。未开启Kerberos认证集群无须执行此步骤。 表1 presto.preperties参数说明
设置IntelliJ IDEA的编码格式 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，使用IntelliJ IDEA开发工具时，可选择“File > Settings > Build, Execution, Deployment
使用具有管理权限的用户登录终端节点控制台。 单击管理控制台左上角的Region信息，选择区域和项目。 在终端节点列表中，单击终端节点ID。 选择进入“策略”页面，单击“编辑”，修改策略信息。 例如只允许VPC1内的服务器下载账号A的桶mybucket中的对象。 其中VPC1的ID为：4dad1f75-0361-4aa
conf”文件，将“kernel.pid_max”参数值增大为1.c查询到的pid_max值的一倍，若无该参数则请在文件末尾添加。 例如修改参数为“kernel.pid_max=65536”，然后执行以下命令使参数立即生效。 sysctl -p “kernel.pid_max”最大可设置为：
storm.security.auth.kerberos.AutoTGT"); //添加AutoHDFS插件 //如果对接HBase，则如下更改为：auto_tgts.add("org.apache.storm.hbase.security.AutoHBase"); auto_tgts
Manager，选择“集群 > 服务 > IoTDB > 配置”，在搜索框中搜索“SSL”，修改“SSL_ENABLE”参数值为“false”；保存配置后需重启IoTDB服务使配置生效。并修改客户端“客户端安装目录/IoTDB/iotdb/conf”目录下的“iotdb-client
设置IntelliJ IDEA的编码格式 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，使用IntelliJ IDEA开发工具时，可选择“File > Settings > Build, Execution, Deployment
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
