检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Loader数据导出作业 使用Loader导出MRS集群内数据 使用Loader从HDFS/OBS导出数据到SFTP服务器 使用Loader从HBase导出数据到SFTP服务器 使用Loader从Hive导出数据到SFTP服务器 使用Loader从HDFS/OBS导出数据到关系型数据库
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServer
StarRocks StarRocks简介 StarRocks是一款高性能分析型数据仓库,使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks既支持从各类实时和离线的数据源高效导入数据,也支持直接分析数据湖上各种格式的数据
JavaDStream<java.lang.String> textFileStream(java.lang.String directory) 入参directory为HDFS目录,该方法创建一个输入流检测可兼容Hadoop文件系统的新文件,并且读取为文本文件。
准备本地应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK
ClickHouse表字段设计 规则 不允许用字符类型存放时间或日期类数据,尤其是需要对该日期字段进行运算或者比较的时候。 不允许用字符类型存放数值类型的数据,尤其是需要对该数值字段进行运算或者比较的时候。字符串的过滤效率相对于整型或者特定时间类型有下降。 建议 不建议表中存储过多的
Hue常见问题 使用IE浏览器在Hue中执行HQL失败 Hue WebUI中Oozie编辑器的时区设置问题 父主题: 使用Hue
V1.1 作业管理接口(废弃) 新增作业并执行(废弃) 查询作业exe对象列表(废弃) 查询作业exe对象详情(废弃) 删除作业执行对象(废弃) 父主题: 历史API
Hive性能调优 建立Hive表分区提升查询效率 Hive Join数据优化 Hive Group By语句优化 Hive ORC数据存储优化 Hive SQL逻辑优化 使用Hive CBO功能优化查询效率 父主题: 使用Hive
JavaDStream<java.lang.String> textFileStream(java.lang.String directory) 入参directory为HDFS目录,该方法创建一个输入流检测可兼容Hadoop文件系统的新文件,并且读取为文本文件。
动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时的增减Executor个数,从而实现动态分配资源,使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service。
其中ResourceManager是一个全新的资源管理系统,而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。此外,TezUI依赖Yarn提供的TimelineServer实现Tez任务运行过程呈现。
对系统影响 操作过程中需要重启Oozie服务。重启过程中,Oozie服务无法提供服务。 前提条件 已安装Oozie、ZooKeeper服务,且服务正常运行。 没有任务正在运行。
“priority_network”主要用于帮助系统选择正确的网卡IP作为FE或BE的IP,建议任何情况下,都显式的设置该参数,避免后续机器增加新网卡导致IP选择不正确问题。“priority_network”的值是CIDR格式表示的,用于保证所有节点都可以使用统一的配置值。
默认使用操作系统的换行符。 string 否 \n 分割长度单位 长度单位,可选择“char”字符或“byte”字节。 enum 是 char 输入字段 配置输入字段相关信息: 固定长度:设置字段长度,第2个字段起点从第1个字段终点开始,以此类推。 字段名:配置输入字段名。
Loader常见问题 IE 10&IE 11浏览器无法保存数据 将Oracle数据库中的数据导入HDFS时各连接器的区别 父主题: 使用Loader
HetuEngine样例程序(Python3) 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 父主题: 开发HetuEngine应用
如果每次对文件系统操作都获取此实例,会创建过多HDFS链接,消耗HDFS资源。 Colocation提供了文件同分布的功能,执行集群Balancer或Mover操作时,会移动数据块,使Colocation功能失效。
如果每次对文件系统操作都获取此实例,会创建过多HDFS链接,消耗HDFS资源。 Colocation提供了文件同分布的功能,执行集群balancer或mover操作时,会移动数据块,使Colocation功能失效。
如果每次对文件系统操作都获取此实例,会创建过多HDFS链接,消耗HDFS资源。 Colocation提供了文件同分布的功能,执行集群balancer或mover操作时,会移动数据块,使Colocation功能失效。