检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config job.properties文件所在路径 -run 表示启动流程 例如: oozie job -oozie
<checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 * <brokers>为获取元数据的Kafka地址。 */ object DstreamKafkaWriterTest1 { def main(args: Array[String])
properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config “job.properties”文件所在路径 -run 表示启动流程 例如: oozie job -oozie
-defaults.conf”配置文件中,重启JDBCServer实例。 MRS_3.2.0-LTS.1.6以及之后补丁,Spark支持子查询字段不带聚合函数语法,开启方法(若之前有设置过,则跳过):在JDBCServer的自定义custom参数添加spark.sql.legacy
e.topic.enable = true”) 支持为已有主题增加分区 支持更新现有主题的配置 可以为分区级别和主题级别度量标准启用JMX查询 父主题: 使用Kafka
default.test_ligtwight_delete where id > 0; 注意事项 已删除的行会立即标记为已删除,并将自动从所有后续查询中过滤掉。数据清理在后台异步发生。此功能仅适用于MergeTree表引擎系列; 当前能力只支持本地表和复制表的轻量化删除功能,分布式表暂不支持。
Workflow”),可以直接单击该名称进行修改,例如“Streaming-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
过“新建”创建新的目录。 单击“导入数据”,通过单击“浏览”选择OBS和HDFS路径。 单击“确定”。 文件上传进度可在“文件操作记录”中查看。 父主题: 应用开发类
x及之后版本默认密码:Admin@123。3.x之前版本默认密码:KAdmin@123。 首次登录后会提示该密码过期,请按照提示修改密码并妥善保存。 执行以下命令 ,查看被锁用户数据密码错误次数“Failed password attempts”参数值是否大于或等于5,如果是,则证明账户被锁。 getprinc
Workflow”),可以直接单击该名称进行修改,例如“Streaming-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" ),如果频繁出现Full GC,需要优化GC。把RDD做Cache操作,通过日志查看RDD在内存中的大小,如果数据太大,需要改变RDD的存储级别来优化。 操作步骤 优化GC,调整老年代和新生代的大小和比例。在客户端的“conf/spark-default
alterGlobalIndicesInactive() 禁用用户指定的索引,且放弃生成索引数据,不再可用于scan/filter操作,通常用于索引修复流程。 查看已创建的索引 listIndices() 可用于列出给定表中的所有索引。 父主题: HBase常见问题
处理Zookeeper异常 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,进入ZooKeeper服务概览页面,查看ZooKeeper服务是否故障。 是,执行2。 否,执行4。 根据ZooKeeper出现的相关报错信息和告警信息,参考对应的ZooKeep
MY_TABLE; UPSERT VALUES 插入/修改数据。 UPSERT INTO MY_TABLE VALUES(1,'abc'); SELECT 查询数据。 SELECT * FROM MY_TABLE; CREATE INDEX 创建全局索引。 CREATE INDEX MY_IDX ON
submitTopology(args[0], conf, builder.createTopology()); } 部署运行及结果查看 导出本地jar包,请参见打包Strom样例工程应用。 将1中导出的本地Jar包,4中获取的配置文件和5中获取的jar包合并统一打出完整的
执行useradd命令新增系统用户,例如“testuser”。 图2 新增系统用户testuser 用户添加完成后等待1分钟左右,登录到Ranger WebUI,即可查看到该用户已经同步成功。 图3 用户同步完成 父主题: 使用Ranger(MRS 1.9.2)
backup_20220222222222'); 注意事项 命令只清理无效的parquet文件。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi CALL COMMAND语法说明
distribution。 SORT_SCOPE:指定表创建时的排序范围。如下为四种排序范围。 GLOBAL_SORT:它提高了查询性能,特别是点查询。TBLPROPERTIES('SORT_SCOPE'='GLOBAL_SORT') LOCAL_SORT:数据会本地排序(任务级别排序)。
distribution。 SORT_SCOPE:指定表创建时的排序范围。如下为四种排序范围。 GLOBAL_SORT:它提高了查询性能,特别是点查询。TBLPROPERTIES('SORT_SCOPE'='GLOBAL_SORT') LOCAL_SORT:数据会本地排序(任务级别排序)。
REFRESH TABLE 命令功能 REFRESH TABLE命令用于将已有的Carbon表数据注册到Hive元数据库中。 命令语法 REFRESH TABLE db_name.table_name; 参数描述 表1 REFRESH TABLE参数描述 参数 描述 db_name