正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Kafka Kafka数据消费概述 Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题
使用Flink Flink作业引擎概述 Flink用户权限管理 Flink客户端使用实践 创建FlinkServer作业前准备 创建FlinkServer作业 管理FlinkServer作业 Flink运维管理 Flink性能调优 Flink客户端常见命令说明 Flink常见问题
使用OpenTSDB 使用MRS客户端操作OpenTSDB指标数据 使用curl命令操作OpenTSDB
使用Kudu 从零开始使用Kudu 访问Kudu的WebUI
使用CDL CDL数据集成概述 CDL用户权限管理 快速使用CDL创建数据同步作业 创建CDL作业前准备 创建CDL作业 CDL作业数据DDL变更说明 CDL日志介绍 CDL常见问题 CDL故障排除
使用Oozie 使用Oozie客户端提交作业 使用Hue提交Oozie作业 开启Oozie HA机制 Oozie日志介绍 Oozie常见问题
gender: String, stayTime: Int) def main(args: Array[String]) { //配置Spark应用名称 val spark = SparkSession .builder() .appName("FemaleInfo")
的hash分桶,如图1所示。 图1 小文件合并 操作步骤 要启动小文件优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.files.maxPartitionBytes 在读取文件时,将单个分区打包的最大字节数。
数据库名称。数据库名称由字母,数字和下划线组成。 table_name 数据库中的表的名称。表名由字母,数字和下划线组成。 注意事项 无。 示例 添加carbon配置参数 carbon.clean.file.force.allowed = true create table carbon01(a int
的hash分桶,如图1所示。 图1 小文件合并 操作步骤 要启动小文件优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.files.maxPartitionBytes 在读取文件时,将单个分区打包的最大字节数。
version}变量。该变量的解析逻辑为,os为aarch64时值为“1.0.0-hw-aarch64”,os为x86_64时值为“1.0.0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时,可采用手动修改pom.xml方式进行规避正确编译。 在pom.xml中手动修改直接或间接依
准备Manager应用开发和运行环境 准备样例工程 Manager REST API提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 配置并导入Manager样例工程 根据场景开发工程 提供了Java语言的样例工程,包含添加用户、查找用户、修改用户、删除用户,导出用户列表等典型应用场景。
进入Loader页面。 单击“管理连接”。 显示Loader连接管理页面。 可单击“管理作业”回到作业管理页面。 单击“新建连接”,进入配置页面,并填写参数创建一个Loader连接。 Loader作业介绍 Loader作业用于管理数据迁移任务,每个作业包含一个源数据的连接,和一
sparkSession.sql("select * from person").show SparkSession可以用于设置运行时的配置项,这些配置项可以在SQL中使用变量替换。 sparkSession.conf.set("spark.some.config", "abcd")
ats); free(buffer); 断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client
outputformat 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'; 查询之前指定配置项: set hive.textinput.record.delimiter='!@!'; Hive会以‘!@!’为行分隔符查询数据。 父主题:
version}变量。该变量的解析逻辑为,os为aarch64时值为“1.0.0-hw-aarch64”,os为x86_64时值为“1.0.0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时,可采用手动修改pom.xml方式进行规避正确编译。 在pom.xml中手动修改直接或间接依
version}变量。该变量的解析逻辑为,os为aarch64时值为“1.0.0-hw-aarch64”,os为x86_64时值为“1.0.0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时,可采用手动修改pom.xml方式进行规避正确编译。 在pom.xml中手动修改直接或间接依
集群HDFS文件接口 获取指定目录文件列表 父主题: API V2
IAM同步管理接口 获取已经同步的IAM用户和用户组 IAM同步 指定用户、用户组取消同步 父主题: API V2