正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-m --secure --query="INSERT INTO orc_tab001 FORMAT ORC" #orc格式文件格式文件数据可以从HDFS中导出,例如: hdfs dfs -cat /user/hive/warehouse/hivedb.db/emp_orc/000000_0_copy_1
启用Backoff配置参数。当前,如果应用程序中包含较多的用户调用,假设没有达到操作系统的连接限制,则RPC请求将处于阻塞状态。或者,当RPC或NameNode在重负载时,可以基于某些策略将一些明确定义的异常抛回给客户端,客户端将理解这种异常并进行指数回退,以此作为类RetryInvocationHandler的另一个实现。
log”、“runcpserver.log”和“hue-audits.log”大小超过5MB的时候,会自动压缩。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hue日志列表 日志类型 日志文件名 描述 运行日志 access.log 访问日志。 error.log 错误日志。 gsdb_check
WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务,查找并记录作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是,执行5。 否,执行6。 单击失败作业application
WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务,查找并记录作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是,执行5。 否,执行6。 单击失败作业application
Manager,选择“系统设置 > 角色管理”。 单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。 “角色名称”为必选参数,字符长度为3到30,可以包含数字、字母和下划线。“描述”为可选参数。 设置角色“权限”。 单击“服务名称”,并选择一个“视图名称”。 勾选一个或多个权限。 “权限”为可选参数。
94237/java ... 执行如下命令,查看占用大量端口的进程。 ps -ef |grep PID PID为7查询出所属端口的进程号。 可以执行如下命令,收集系统所有进程信息,查看占用大量端口的进程。 ps -ef > $BIGDATA_HOME/tmp/ps_result.txt
s,那么close函数最多需要25.2秒才能返回。 解决办法 可以通过调整客户端参数dfs.client.block.write.locateFollowingBlock.retries的值来增加retry的次数,可以将值设置为6,那么中间睡眠等待的时间为400ms、800ms、
MB的时,会自动压缩。 压缩后的日志文件名规则为:“<原有日志名>.[编号].gz”。 默认最多保留最近的10个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ClickHouse日志列表 日志类型 日志文件名 描述 ClickHouse相关日志 /var/lo
打开IntelliJ IDEA,在“Quick Start”页面选择“Open or Import”。 另外,针对已使用过的IDEA工具,可以从主界面选择“File > Import project...”导入样例工程。 图7 Open or Import(Quick Start页面)
WebUI登录地址。 使用获取到的登录地址,访问EFAK WebUI界面。 访问EFKA WebUI界面默认初始账号密码admin/123456 登录后可以查看Kafka集群监控页面、Topic监控页面、Consumer监控页面,例如: 图2 Kafka集群监控 图3 Topic监控 图4 Consumer监控
得到结果并输出。 Join顺序优化 当有3张及以上的表进行Join时,选择不同的Join顺序,执行时间存在较大差异。使用恰当的Join顺序可以有效缩短任务执行时间。 Join顺序原则: Join出来结果较小的组合,例如表数据量小或两张表Join后产生结果较少,优先执行。 Join
> 全部配置”,修改yarn.nodemanager.lost.alarm.threshold的值来配置阈值(修改该参数不用重启Yarn,就可以生效)。 阈值默认为零,当丢失节点数超过该值时,触发告警,小于阈值时会自动消除告警。 告警属性 告警ID 告警级别 是否自动清除 18002
b/* com.huawei.bigdata.kafka.example.Producer 运行结果观察方式 样例程序工程jar包运行结果可以在logs目录下的client.log观察,默认状态下的log4j.properties没有将运行状态输出,若需要观察程序运行的信息,需将log4j
Manager选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 磁盘 > 磁盘使用率”中查看该告警阈值是否不合理(默认90%为合理值,用户可以根据自己的实际需求调节)。 是,执行2。 否,执行4。 根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机
得到结果并输出。 Join顺序优化 当有3张及以上的表进行Join时,选择不同的Join顺序,执行时间存在较大差异。使用恰当的Join顺序可以有效缩短任务执行时间。 Join顺序原则: Join出来结果较小的组合,例如表数据量小或两张表Join后产生结果较少,优先执行。 Join
钮,根据算子的参数格式要求填写相应字段信息。 单击每行字段后的按钮可对字段进行上移、下移、下面插入一行以及删除等操作。 单击“文本编辑”,可以直接以文本形式对字段列表进行编辑,不同字段属性直接使用英文逗号“,”进行分隔。 单击“确定”,保存字段信息。 导入操作 登录“Loader
多租户将大数据集群的资源隔离成一个个资源集合,彼此互不干扰,用户通过“租用”需要的资源集合,来运行应用和作业,并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。 因此,MRS大数据集群提供了完整的企业级大数据多租户解决方案。多租户是MRS大数据集群中的多个
集群名 ... ENGINE = ReplicatedMergeTree ... 其他副本节点有如下提示表已经存在的报错信息,属于正常现象,可以忽略。 Received exception from server (version 20.8.7): Code: 57. DB::Exception:
/data2”,则执行以下命令: mount /dev/vdb2 /srv/BigData/data2 弹性云服务器重启后,挂载会失效。您可以修改“/etc/fstab”文件,将新建磁盘分区设置为开机自动挂载,具体请参见设置开机自动挂载磁盘分区。 参见访问集群Manager,登录FusionInsight