检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
changed_column_type; 参数描述 表1 CHANGE DATA TYPE参数描述 参数 描述 db_name 数据库名。如果未指定,则选择当前数据库。 table_name 表名。 col_name 表中的列名称。列名称包含字母,数字和下划线(_)。 changed_column_type
则查看是否在15天内过期。 是,执行1.d。 否,执行2。 执行以下命令修改过期设置。 设置omm用户过期的期限: chage -E '指定日期' omm 设置omm密码的有效天数: chage -M '天数' omm 等待下周期检测,观察告警是否自动清除。 是,操作结束。 否,执行2。
看是否在15天内过期。 是,执行1.d。 否,执行2。 执行以下命令修改过期设置。 设置ommdba用户过期的期限: chage -E '指定日期' ommdba 设置ommdba密码的有效天数: chage -M '天数' ommdba 等待下周期检测,观察告警是否自动清除。 是,操作结束。
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制
Flink任务开发规则 对有更新操作的数据流进行聚合计算时要注意数据准确性问题 在针对更新数据进行聚合需要选择合适的解决方案,否则聚合结果会是错误的。 例如: Create table t1( id int, partid int, value int );
sftp-connector连接器相关作业运行失败 问题 使用sftp-connector连接器相关作业运行失败,出现如下类似报错:“获取Sftp通道失败。xxx (原因是: failed to send channel request)”。 SFTP服务出现如下报错:“subsystem
ALM-38010 存在单副本的Topic 告警解释 系统在Kafka的Controller所在节点上,每60秒周期性检测各个Topic的副本数,当检测到某个Topic的副本数为1时,产生该告警。 告警属性 告警ID 告警级别 是否自动清除 38010 重要 否 告警参数 参数名称
未安装HBase时Hive on Spark任务卡顿如何处理 操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后,在未安装HBase的环境执行Hive on Spark任务时,可避免任务卡顿。 Hive on Spark任务的Spark内核版本已经升级到Spark2x
未安装HBase时Hive on Spark任务卡顿如何处理 操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后,在未安装HBase的环境执行Hive on Spark任务时,可避免任务卡顿。 Hive on Spark任务的Spark内核版本已经升级到Spark2x
ALM-12007 进程故障 告警解释 进程健康检查模块按5秒周期检测进程状态。当进程健康检查模块连续三次检测到进程连接状态为故障时,产生该告警。 当进程连接正常时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12007 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
清除ClickHouse默认用户密码 本章节指导用户在创建ClickHouse集群(普通模式)后,清除ClickHouse的默认用户“default”和“clickhouse”的密码。 本章节适用于MRS 3.3.0及之后版本。 “default”和“clickhouse”用户为
删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中,或者数据加载后出现许多错误记录,用户希望修改并重新加载数据时,可删除对应的segment。可使用segment ID来删除segment,也可以使用加载数据的时间来删除segment。 删除seg
mpala守护程序。如需连接到其他主机,请使用-i <host:port>选项。要自动连接到特定的Impala数据库,请使用-d <database>选项。例如,如果您的所有Kudu表都位于数据库“impala_kudu”中,则-d impala_kudu可以使用此数据库。要退出Impala
by/max/maxby/sum/sumby等)进行相应操作。 fields为数据某几列的序号或者成员变量的名称。 key则为用户自定义的指定分区依据的方法。 public KeyedStream<T, Tuple> keyBy(String... fields) public <K>
by/max/maxby/sum/sumby等)进行相应操作。 fields为数据某几列的序号或者成员变量的名称。 key则为用户自定义的指定分区依据的方法。 public KeyedStream<T, Tuple> keyBy(String... fields) public <K>
by/max/maxby/sum/sumby等)进行相应操作。 fields为数据某几列的序号或者成员变量的名称。 key则为用户自定义的指定分区依据的方法。 public KeyedStream<T, Tuple> keyBy(String... fields) public <K>
设置Spark Core并行度 操作场景 并行度控制任务的数量,影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况,当任务和数据不是平均分布在各节点,而是集中在个别节点时,可以增大并行
HDFS基本原理 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在现有文件
使用Yarn客户端提交任务 操作场景 该任务指导用户在运维场景或业务场景中使用Yarn客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下
MapReduce Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分,包括了从Map task将中间数据写到磁盘一直到Reduce task拷贝数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。 图1 Shuffle过程