检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dfs.client-write-packet-size 客户端写包的大小。当HDFS Client往DataNode写数据时,将数据生成一个包。然后将这个包在网络上传出。此参数指定传输数据包的大小,可以通过各Job来指定。单位:字节。 在万兆网部署下,可适当增大该参数值,来提升传输的吞吐量。
Users按钮,在对应用户名所在行勾选“Is Role Admin”,单击“Save”保存配置,操作结束。 选择“系统 > 权限 > 角色”,添加一个拥有Hive管理员权限的角色。 在FusionInsight Manager页面,选择“系统 > 权限 > 用户 ”。 在指定用户对应的“操作”列单击“修改”。
= sqlContext.sql("select name, account from person") // 遍历hive表中的每一个partition, 然后更新到hbase表 // 如果数据条数较少,也可以使用foreach()方法 dataFrame
txt中的内容复制保存到input_data1.txt,将log2.txt中的内容复制保存到input_data2.txt。 在HDFS上建立一个文件夹“/tmp/input”,并上传input_data1.txt,input_data2.txt到此目录,命令如下: 登录HDFS客户端。
HetuEngine支持的Oracle数据源的Schema和Table名称大小写格式敏感。 false(默认值):仅支持查询全小写的Schema和Table。 true: 忽略大小写后无同名的Schema和Table:支持查询该Schema和Table。 忽略大小写后存在同名的Schema和Table:不支持查询该Schema和Table。
p或Spark安装包做修改。 需要安装其他MRS还未支持的大数据组件。 对于上述定制化的场景,可以选择登录到每个节点上手动操作,之后每扩容一个新节点,再执行一次同样的操作,操作相对繁琐,也容易出错。同时手动执行记录不便追溯,不能实现“按需创建、创建成功后即处理数据”的目标。 因此
pMaster日志中可以看出,无法连接至Driver,所以任务失败。 解决办法 请检查Driver进程所在的IP是否可以ping通。 启动一个Spark PI任务,会有类似如下打印信息。 16/05/11 18:07:20 INFO Remoting: Remoting started;
ClickHouse业务中若存在元数据不一致的表,则后续针对该表的insert、alter等操作可能执行失败。 可能原因 修改表元数据时在其中一个或多个ClickHouseServer节点执行失败或未执行。 处理步骤 登录FusionInsight Manager页面,选择“运维 >
SL_PLAINTEXT”。 “TOKENID”和“HMAC”参考Kafka Token认证机制工具使用说明为用户生成Token时产生。 在使用Token认证机制时,需要把Kerberos认证机制注释掉,保证代码运行过程中只使用一个认证机制,如下所示: public static
权限的分离管理和维护。 业务隔离设计-不要在system库中创建业务表 system数据库是ClickHouse默认的系统数据库,默认数据库中的系统表记录的是系统的配置、元数据等的信息数据。 业务在使用ClickHouse的时候,需要指定自己业务的数据库进行连接和使用,业务相关的
可填写一个或多个IP或IP段,并且IP填写支持“*”通配符,例如:192.168.1.10,192.168.1.20或者192.168.1.*。 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。
xml”、“hbase-site.xml”和“hdfs-site.xml”。 认证文件为准备集群认证用户信息获取的keytab认证文件“user.keytab”和“krb5.conf”。 hbase-examples/hbase-example(多集群互信场景) 将互信场景下的同名用户其中一个集群的认证凭据及其配置文件放入“
进行kerberos认证(未开启Kerberos认证集群可以跳过此步骤) 创建一个org.apache.hadoop.hbase.rest.client.Cluster类的集群对象,通过调用集群类的add方法和REST server的集群IP和端口来添加集群。 Cluster cluster = new
checkpoint.interval 垃圾检查点间的间隔。单位:分钟。应小于等于“fs.trash.interval”的值。检查点程序每次运行时都会创建一个新的检查点并会移除fs.trash.interval分钟前创建的检查点。例如,系统每10分钟检测是否存在老化文件,如果发现有老化文件,则删
HBase利用内存完成读写操作。提高HBase内存可以有效提高HBase性能。 “GC_OPTS”主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候,建议将“Xms”和“Xmx”设置成相同的值,这样可以避免JVM动态调整HeapSize大小的时候影响性能。调整NewSiz
性后,需要重新下载并安装客户端,或者下载配置文件刷新客户端。 通过管理控制台添加自定义参数 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“组件管理”。 单击服务列表中指定的服务名称。 单击“服务配置”。 将页面右侧“基础配置”切换为“全部配置”。
checkpoint.interval 垃圾检查点间的间隔。单位:分钟。应小于等于“fs.trash.interval”的值。检查点程序每次运行时都会创建一个新的检查点并会移除fs.trash.interval分钟前创建的检查点。例如,系统每10分钟检测是否存在老化文件,如果发现有老化文件,则删
参考修改集群服务配置参数章节,进入ZooKeeper服务“全部配置”页面。不断尝试调大ZooKeeper配置文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值,直到ZooKeeperServer正常。 表1 参数说明 参数 描述 默认值 syncLimit follo
ALM-27005 数据库连接数使用率超过阈值 告警解释 系统每30秒周期性检查DBServer节点的数据库连接数使用率,并把实际数据库连接数使用率和阈值相比较,当数据库连接数的使用率连续5次(可配置,默认值为5)超过设定阈值时,系统将产生此告警,数据库连接数使用率的阈值设为90%(可配置,默认值为90%)。
replicas) Partition的副本数不要超过节点个数 Kafka中Topic的Partition的副本是为了提升数据的可靠性而存在的,同一个Partition的副本会分布在不同的节点,因此副本数不允许超过节点个数。 Consumer客户端的配置参数“fetch.message.max