检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Presto样例程序开发思路 场景说明 假定用户开发一个Presto数据分析应用,用于获取Presto提供的TPCDS Catalog的call_center表。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_c
follower与leader进行同步的时间间隔(时长为ticket时长的倍数)。如果在该时间范围内leader没响应,连接将不能被建立。 15 initLimit follower连接到leader并与leader同步的时间(时长为ticket时长的倍数)。 15 如果将参数“initLim
conversionRatio:Int类型,将经纬度小数值转换为整型值 用户可以按照上述格式为处理程序添加自己的表属性,并在自定义实现类中访问它们。originLatitude,gridSize及conversionRatio是必选参数,其余属性在Carbon中都是可选的。可以使用“SPATIAL_INDEX
性。 参数配置项均为Topic级别可修改的参数,默认采用服务级配置。 可针对不同Topic可靠性要求对Topic进行单独配置。以root用户登录Kafka客户端节点,在客户端安装目录下配置Topic名称为test的可靠性参数命令: cd Kafka/kafka/bin kafka-configs
flink.examples.UDFState: // 用户自定义状态 class UDFState extends Serializable{ private var count = 0L // 设置用户自定义状态 def setState(s: Long)
引信息,可以获取当前用户表所有相关索引的定义及索引状态。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“GlobalSecondaryIndexSample”类的listIndices方法中。 本样例查询了用户表user_table对应的所有索引信息。
doop/data1/nm/containerlogs/”目录内。 Spark Job完成的任务日志保存在HDFS的“/tmp/logs/用户名/logs”目录内。 父主题: 作业管理类
配置Yarn本地化日志级别 配置场景 container本地化默认的日志级别是INFO。用户可以通过配置“yarn.nodemanager.container-localizer.java.opts”来改变日志级别。 配置描述 在Manager系统中,选择“集群 > 待操作集群的名称
需要执行INSERT命令的Hudi表的名称。 select query 查询语句。 注意事项 写入模式:Hudi对于设置了主键的表支持三种写入模式,用户可以设置参数hoodie.sql.insert.mode来指定Insert模式,默认为upsert。 strict模式,Insert语句将
collect().foreach(println) spark.stop() } } 上面是简单示例,其它sparkSQL特性请参见如下链接:http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide
collect().foreach(println) spark.stop() } } 上面是简单示例,其它sparkSQL特性请参见如下链接:http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide
Flume客户端可以包含多个独立的数据流,即在一个配置文件properties.properties中配置多个Source、Channel、Sink。 这些组件可以链接以形成多个数据流。 例如在一个配置中配置两个数据流,示例如下: server.sources = source1 source2 server
配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式,即设置“spark.eventLog.enabled”为“true”时,就会往配置的一个日志文件中写事件,记录程序的运行过程。当程序运行很久,job很多,task很多时就会造成日志文件很大,如JDBCServer、Spark
配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式,即设置“spark.eventLog.enabled”为“true”时,就会往配置的一个日志文件中写事件,记录程序的运行过程。当程序运行很久,job很多,task很多时就会造成日志文件很大,如JDBCServer、Spark
配置Spark作业失败时清理残留文件 本章节仅适用于MRS 3.3.1-LTS及之后版本。 配置场景 Spark作业失败时可能出现文件残留的情况,可能会长期积累导致磁盘空间告警,因此需要定时清理。 使用约束 本特性需要启动Spark JDBCServer服务,借助JDBCServ
使用Hue提交Oozie Sub workflow作业 操作场景 该任务指导用户通过Hue界面提交Sub Workflow类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“子Workflow”按钮,将其拖到操作区中。 在弹出的“Sub
调用API接口创建集群失败 用户问题 按照参考文档创建集群并执行作业,调用创建集群接口:POST /v1.1/{project_id}/run-job-flow返回500。 问题现象 调用创建集群接口:POST /v1.1/{project_id}/run-job-flow返回500。
使用Hue提交Oozie Sub workflow作业 操作场景 该任务指导用户通过Hue界面提交Sub Workflow类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“子Workflow”按钮,将其拖到操作区中。 在弹出的“Sub
administrators 用于指定MapReduce集群管理员列表,可以配置用户和用户组,用户或者用户组之间用逗号间隔,用户和用户组之间用空格间隔,举例:userA,userB groupA,groupB。当配置为*时表示所有用户或用户组。 MRS 3.x之前版本:mapred MRS 3.x及之后版本:
重新打开一个终端窗口,用ulimit -a命令查看是否修改成功,如果没有,请重新按照上述步骤重新修改。 从Manager页面重启DataNode实例。 父主题: 使用HDFS