正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动Adaptive Execution特性后,Spark SQL能自动处理数据倾斜场景,对倾斜的分区,启动多个task进行处理,每个task读取部分shuffle输出文件,再对这部分任务的Join结果进行Union操作,以达到消除数据倾斜的效果。
加载索引的并行度调整参数:write.index_bootstrap.tasks 采用状态索引写数据需要进行主键唯一性检查,分配具体写入文件,提升该算子并行度提升性能。
向OpenTSDB指标中导入数据 tsdb命令可以使用“tsdb import”命令批量导入指标数据,可执行如下命令: 准备指标数据,如包含如下内容的importData.txt文件。
对系统的影响 故障状态的DataNode节点无法提供HDFS服务,可能导致用户无法读写文件。 可能原因 DataNode故障或者负荷过高。 NameNode和DataNode之间的网络断连或者繁忙。 NameNode负荷过高。
密钥对 使用密钥方式登录集群节点,可从下拉框中选择密钥对,如果已获取私钥文件,请勾选“我确认已获取该密钥对中的私钥文件SSHkey-xxx,否则无法登录弹性云服务器”,如果没有创建密钥对,请单击“查看密钥对”创建或导入密钥,然后再获取私钥文件。
如果请求主体大于缓冲区,则将整个主体或仅将其部分写入临时文件。 默认值:10240 取值范围:大于0 client_body_timeout 定义读取客户端请求正文的超时时间。超时仅针对两次连续读取操作之间的一段时间设置,而不是针对整个请求主体的传输。
参数名称 值 hadoop.proxyuser.test.hosts * hadoop.proxyuser.test.groups * 重启HDFS、Yarn、Spark、Hive服务,并更新客户端HDFS、Yarn、Spark、Hive配置文件。
group_id String 作业执行组ID jar_path String 执行程序jar包或sql文件地址。 input String 数据输入地址。 output String 数据输出地址。
每个分区是一个有序、不可变的消息序列,并不断追加到提交日志文件。分区的消息每个也被赋值一个称为偏移顺序(Offset)的序列化编号。 图1 Kafka结构 表1 Kafka结构图说明 名称 说明 Broker 在Kafka集群上一个服务器称为一个Broker。
`sex`) DISTRIBUTED BY HASH(`user_id`) BUCKETS 1 PROPERTIES ( "replication_allocation" = "tag.location.default: 1" ); 在当前节点的任意目录下创建“test.csv”文件
ficommon 系统公共组,对应“compcommon”,可以访问集群在操作系统中保存的公共资源文件。
开发指南 获取MRS二次开发样例工程 通过Flink分析网页停留时间 通过HBase管理企业用户信息 HDFS文件操作 Hive数据分析应用 Impala应用开发 Kafka消息发布及订阅 Kudu应用开发 MapReduce应用开发 Oozie离线分析网站日志 通过Spark分析网页停留时间
登录HDFS检查Oozie文件目录是否完整。 下载并安装HDFS客户端。 以root用户登录客户端所在节点,执行以下命令,检查“/user/oozie/share”路径是否存在,用户密码为安装前用户自定义,请咨询系统管理员。 如果集群采用安全版本,要进行安全认证。
修改“pom.xml”文件如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=
执行以下命令获取“clickhouse.keytab”文件路径。
共享内存大小 主机内存使用率 已使用内存 网络写信息 主机网络写包数 主机网络写包错误数 主机网络发送速率 主机网络写包丢包数 CPU 改变过优先级的进程占CPU的百分比 用户空间占用CPU百分比 内核空间占用CPU百分比 主机CPU使用率 CPU总时间 CPU闲置时间 主机状态 主机文件句柄使用率
若直连HiveServer的方式访问Hive,需按如下方式拼接JDBC URL,并将hiveclient.properties文件中的zk.quorum配置项的端口改为10000。
将生成的“truststore.jks”文件复制到“客户端安装目录/IoTDB/iotdb/conf”目录下: cp truststore.jks 客户端安装目录/IoTDB/iotdb/conf 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建
<path_to_keytab>表示<principal_name>对应的keytab文件路径,如“/opt/auth/test/user.keytab”。
创建函数的用户与使用函数的用户都需要具有该文件的可读权限。 切换至客户端安装目录并配置环境变量: cd 客户端安装目录 source bigdata_env 认证用户。