检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataNode的容量计算出错如何处理 为什么存储小文件过程中,缓存中的数据会丢失 当分级存储策略为LAZY_PERSIST时为什么文件的副本的存储类型为DISK 为什么NameNode UI上显示有一些块缺失 父主题: 使用HDFS
jar包,上传后在Flink WebUI界面中“依赖类型”显示为“connector”。 非自定义connector依赖:非用户自定义connector jar包,如作业依赖包,上传后在Flink WebUI界面中“依赖类型”显示为“normal”。 使用该功能需提前准备依赖文
登录MRS Manager页面。 单击“系统设置 > 用户管理 > 添加用户”,为样例工程创建一个用户。 填写用户名,例如prestouser,用户类型为“机机”用户,加入用户组presto,设置其“主组”为presto,单击“确定”。 在MRS Manager界面选择“系统设置 > 用户
CarbonData常见问题 为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 如何避免对历史数据进行minor compaction? 如何在CarbonData数据加载时修改默认的组名? 为什么INSERT INTO CARBON TABLE失败? 为什么含转义字符的输入数据记录到Bad
JDBCServer HA JDBCServer在启动时,向ZooKeeper注册自身消息,在指定目录中写入节点,节点包含了该实例对应的IP,端口,版本号和序列号等信息。 客户端连接JDBCServer时,需要指定Namespace,即访问ZooKeeper哪个目录下的JDBCServer实例。
ib-*.tar.gz”,找到Share Lib Jar包: tar -zxf oozie-sharelib-*.tar.gz 上传6.a获取的oozie Jar包到检查结果对应的HDFS路径下。 hdfs dfs -put -f 本地Jar包路径 异常Oozie Jar包所在的HDFS路径
[编号].gz”。默认最多保留最近的10个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ClickHouse日志列表 日志类型 日志文件名 描述 运行日志 /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server
0MB的时候,会自动压缩。最多保留20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ZooKeeper日志列表 日志类型 日志文件名 描述 运行日志 zookeeper-<SSH_USER>-<process_name>-<hostname>.log Zoo
监控Spark作业的大目录阈值,超过当前阈值就会上报事件。 单位:GB。 100 job.monitor.local.thread.pool 获取NodeManager的监控的大作业的信息的线程数。 50 max.job.count 事件中显示大作业的数量。 10 job.monitor
ts from hudi_trips_point_in_time where fare > 20.0").show() 删除数据: # 获取记录总数 spark.sql("select uuid, partitionpath from hudi_trips_snapshot")
ts from hudi_trips_point_in_time where fare > 20.0").show() 删除数据: # 获取记录总数 spark.sql("select uuid, partitionpath from hudi_trips_snapshot")
ts from hudi_trips_point_in_time where fare > 20.0").show() 删除数据: # 获取记录总数 spark.sql("select uuid, partitionpath from hudi_trips_snapshot")
密码字符长度为16~32位。 至少需要包含大写字母、小写字母、数字、特殊字符~`!@#$%^&*()-+_=\|[{}];:",<.>/?中的3种类型字符。 不能与用户名或倒序用户名相同。 不可与前20个历史密码相同。 显示如下结果,说明修改成功: Congratulations, update
设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划,可以按时间、业务类型等分类,不要单个目录下直属的文件过多,建议使用默认值,单个目录下约100万条。 父主题: 使用HDFS
RowCounter等,且后续还会增加。部分命令的输出为INFO打印,如果直接把INFO关闭会导致部分命令输出结果丢失。例如:RowCounter输出结果为INFO类型: 处理步骤 使用root用户登录安装HBase客户端的节点。 在“HBase客户端安装目录/HBase/component_env”文件中添加如下信息:
设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划,可以按时间、业务类型等分类,不要单个目录下直属的文件过多,建议使用默认值,单个目录下约100万条。 父主题: 使用HDFS
CarbonData常见问题 为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 如何避免对历史数据进行minor compaction? 如何在CarbonData数据加载时修改默认的组名? 为什么INSERT INTO CARBON TABLE失败? 为什么含转义字符的输入数据记录到Bad
到ClickHouse表的列。 输入与输出 输入:需要输出的字段 输出:ClickHouse表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 数据库名 配置ClickHouse表所在的数据库 string 是 default 表名 配置数据写入ClickHouse对应的表名
选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“告警管理 > 事件”查看事件信息。 单击“全部导出”。在弹框内选择保存类型,单击“确定”可导出事件。 通过Manager查看集群事件 MRS 3.x及之后版本: 登录FusionInsight Manager。 选择“运维
lickHouse表的列。 输入与输出 输入:需要输出的字段。 输出:ClickHouse表。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 数据库名 配置ClickHouse表所在的数据库。 string 是 default 表名 配置数据写入ClickHouse对应的表名。