检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions 权限字符串 “${变量名}”表示:该值来自job
独去管理和维护。 projection 数据实时同步,数据写入即可查询到物化视图最新数据。 创建表时指定的物化视图语法,新的SQL业务需要修改表结构。 不需要开发很多物化视图,任意查询SQL会自动重写命中物化视图。 Projection仅在MRS 3.2.0及以上的版本集群中支持。
WebUI,请参考访问Hue WebUI界面。 在界面左侧导航栏单击,选择“Bundle”,打开Bundle编辑器。 在作业编辑界面中单击“My Bundle”修改作业的名称。 单击“+添加Coordinator”选择需要编排的Coordinator作业。 根据界面提示设置Coordinator任务调
使用jar包连接MRS集群的HDFS(包括提交任务时连接HDFS)时报错。 解决办法 方法一: 找到命令或者jar包使用的HDFS配置文件hdfs-site.xml。 修改“dfs.client.failover.proxy.provider.hacluster”参数配置项如下。 <property> <name>dfs
配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置,修改如下参数: 参数 说明 默认值 spark.sql.keep.distinct.expandThreshold 由cube等引起的数据膨胀
/spark-defaults.conf配置文件中配置项spark.beeline.principal的值。 开发思路 在default数据库下创建child表。 把“/home/data”的数据加载进child表中。 查询child表中的数据。 删除child表。 父主题: 通过JDBC访问Spark
在“CDLService UI”右侧,单击链接,访问CDLService WebUI。 CDL WebUI界面支持以下功能: 驱动管理:可以上传、查看和删除连接数据库对应的驱动文件。 连接管理:可以新建、查看、编辑和删除数据连接。 作业管理:使用作业管理可以新建、查看、启动、暂停、恢复、停止、重启、删除和编辑作业等。
数量超出阈值(默认连续20次超过默认阈值128)时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群 > HBase”来修改阈值。当等待同步的HFile文件数量小于或等于阈值时,告警消除。 告警属性 告警ID 告警级别 是否自动清除 19019 重要 是 告警参数
文件数量超出阈值(默认连续20次超过默认阈值128)时产生该告警。用户可通过“运维 > 告警 > 阈值设置> 待操作集群 > HBase”修改阈值。当等待同步的wal文件数量小于或等于阈值时,告警消除。 告警属性 告警ID 告警级别 是否自动清除 19020 重要 是 告警参数 参数名称
参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions 权限字符串 “${变量名}”表示:该值来自“job
参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions 权限字符串 “${变量名}”表示:该值来自job
参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions 权限字符串 “${变量名}”表示:该值来自“job
为Topology内部的源数据。 Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组(无穷)元素的集合,流上的每个元素都属于同一个schema;每个
$BIGDATA_CLIENT_HOME “$BIGDATA_CLIENT_HOME”为HBase客户端安装目录,例如“/opt/client”。 然后执行: source bigdata_env 启用多实例功能后,为其他HBase服务实例进行应用程序开发时还需执行以下命令,切换指定服务实例的客户端。
也可以提交新的作业,但不允许继续缩容和删除集群,也不建议重启集群和修改集群配置。 缩容成功:集群缩容成功后集群状态为“运行中”,计费按照缩容后所使用的资源计算。 缩容失败:集群缩容失败时集群状态为“运行中”。用户可以执行作业,也可以重新进行缩容操作。 缩容成功后,可以在集群详情的“节点管理”页签查看集群的节点信息。
把该值设置为false比true在写入性能上会更优。 true hbase.hfile.hsync 控制HFile文件在写入到HDFS时的同步程度。如果为true,HDFS在把数据写入到硬盘后才返回;如果为false,HDFS在把数据写入OS的缓存后就返回。 把该值设置为false比true在写入性能上会更优。
在FusionInsight Manager的告警列表中,查看是否有“进程故障”产生。 是,执行5。 否,执行8。 在“进程故障”,查看“服务名”是否为“ZooKeeper”。 是,执行6。 否,执行8。 参考ALM-12007 进程故障的处理步骤处理该故障。 在告警列表中,查看“Hive服务不可用”告警是否清除。
进入到其他ClickHouse节点也发现了同样的报错日志,由此可知Kafka消息堆积是因为ClickHouse解析Kafka数据时出现异常。 解决办法 使用以下命令修改表的“kafka_skip_broken_messages”属性: # ALTER test.user_log MODIFY SETTINGS
on.properties 将PMS进程的内存配置参数“pms.mem”根据实际情况调大,保存并退出。 ... pms.mem=800m 修改的新值的增长量不能大于操作系统可用剩余内存。 执行以下命令查找PMS进程的PID,并终止PMS进程,等待进程重新启动。 ps -ef | grep
WebUI,请参考访问Hue WebUI界面。 在界面左侧导航栏单击,选择“Bundle”,打开Bundle编辑器。 在作业编辑界面中单击“My Bundle”修改作业的名称。 单击“+添加Coordinator”选择需要编排的Coordinator作业。 根据界面提示设置Coordinator任务调