检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 单击指定的表名,可以显示表中所有的列。 光标移动到表或列所在的行,单击 可以查看详细信息。 在HiveQL语句编辑区输入查询语句。 单击 开始执行HiveQL语句。 图1 执行语句 如果
表1 Avro Source常用配置 参数 默认值 描述 channels - 与之相连的Channel,可以配置多个。用空格隔开。 在单个代理流程中,是通过channel连接sources和sinks。一个source实例对应多个channels,但一个sink实例只能对应一个channel。
Master节点数量大于等于3个,小于等于11个。 节点组数量总和小于等于10个,非Master节点组中节点数量总和小于等于10000个。 管控数合设 生产环境或商用环境不推荐使用此场景。 管理节点、控制节点和数据节点合并部署时,集群性能和可靠性都会产生较大影响。 如节点数量满足需求,建议将数据节点单独部署。 M
如需使用客户端重置密码,需在集群内的任一节点安装了集群客户端。 登录Manager界面修改密码 使用具有用户管理权限的用户(例如admin)登录集群Manager界面。 移动鼠标到界面右上角的用户名。 在弹出菜单中单击“修改密码”。 图1 修改密码 在“密码修改”界面分别输入“旧密码”、“新密码”、“确认新密码”,单击“确定”完成修改。
数据文件。 容量规格 ConfigNode容量规格 当创建新的存储组时,IoTDB默认为该存储组分配10000个槽位,数据写入时根据写入的设备名和时间值,分配或创建一个data region并挂载在某个槽位上。所以ConfigNode的内存容量占用跟存储组个数和该存储组持续写入的时间相关。
离线重启:会断服,耗时短。 登录MRS控制台或FusionInsight Manager界面。 重启相关组件,可以采用重启集群或者重启组件方式。 方式一(推荐):重启集群,建议在业务空闲时间重启。 在FusionInsight Manager界面,选择“集群 > 概览 > 更多”,重启集群或者滚
rocksdb.bottommost_compression snappy 底层使用重量级的压缩类型,减少空间。因为底层的数据可能是冷数据,如果要启用,推荐使用zstd或者zlib 取值范围:null、snapp、zlib、bzip2、lz4、lz4hc、xpress、zstd state.backend
效。使得Spark Streaming和Kafka可以很好地整合在一起。总体来说,这些特性使得流处理管道拥有高容错性、高效性及易用性,因此推荐使用Direct Streaming方式处理数据。 在一个Spark Streaming应用开始时(也就是Driver开始时),相关的St
</property> 建议多个数据目录应该配置到多个磁盘中,否则所有的数据都将写入同一个磁盘,对性能有很大的影响。 重新启动HDFS。 按照如下方法将数据移动至新的数据目录。 mv/data1/datadir/current/finalized/subdir1 /data2/datadir/cu
系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 图1 选择数据库 单击指定的表名,可以显示表中所有的列。 光标移动到表所在的行,单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。 单击后的三角并选择“解释”,编辑器将分析输入的查询
streaming.blockInterval 在被存入Spark之前Spark Streaming Receiver接收数据累积成数据块的间隔(毫秒)。推荐最小值为50毫秒。 200ms spark.streaming.receiver.maxRate 每个Receiver接收数据的最大速率(
streaming.blockInterval 在被存入Spark之前Spark Streaming Receiver接收数据累积成数据块的间隔(毫秒)。推荐最小值为50毫秒。 200ms spark.streaming.receiver.maxRate 每个Receiver接收数据的最大速率(
表1 Avro Source常用配置 参数 默认值 描述 channels - 与之相连的Channel,可以配置多个。用空格隔开。 在单个代理流程中,是通过channel连接sources和sinks。一个source实例对应多个channels,但一个sink实例只能对应一个channel。
ormation”,单击“下一步”。 “设置最小授权范围”根据实际情况选择授权的资源范围,单击“确定”,创建委托。 在“委托”页面,将鼠标移动到新创建的委托名称上,获取具备访问LakeFormation权限的委托ID。 图2 查看委托ID 创建对接OBS权限的委托 登录华为云管理控制台,选择“统一身份认证服务”。
收集集群节点服务器的操作系统日志,并进行分析。 收集集群日志,并进行分析。 诊断网络 对集群的网络健康状态进行分析。 管理硬件 检查设备运行的机房环境,安排清洁设备。 父主题: MRS集群运维
离线重启:会断服,耗时短。 登录MRS管理控制台或FusionInsight Manager界面。 重启相关组件,可以采用重启集群或者重启组件方式。 方式一(推荐):重启集群,建议在业务空闲时间重启。 在FusionInsight Manager界面,选择“集群 > 概览 > 更多”,重启集群或者滚
HADOOP_ROOT_LOGGER=INFO,console 问题三:如何彻底删除HDFS文件? 由于HDFS的回收站机制,一般删除HDFS文件后,文件会移动到HDFS的回收站中。如果确认文件不再需要并且需要立马释放存储空间,可以继续清理对应的回收站目录(例如:hdfs://hacluster/user/xxx/
moveApplicationAcrossQueues(MoveApplicationAcrossQueuesRequest request) 移动一个应用到新的队列。 submitApplication(SubmitApplicationRequest request) Client通过此接口提交一个新的应用到RM。
现象描述 MRS样例工程调试运行过程发现认证失败。 处理流程 出现认证失败的原因很多,在不同场景中建议参考以下步骤来排查: 确认本应用所运行设备和集群网络上是否通畅,Kerberos认证所需的各类端口(TCP/UDP)是否可正常访问。 确认各个配置文件是否被正确读取到,路径是否保存正确。
慎用正则表达式函数REGEXP 正则表达式是非常耗时的操作,对比加减乘除通常有百倍的性能开销,而且正则表达式在某些极端情况下可能会进入无限循环,导致作业阻塞。推荐首先使用LIKE。正则函数包括: REGEXP REGEXP_EXTRACT REGEXP_REPLACE 【示例】 使用正则表达式: SELECT