检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Yarn用户权限管理 创建Yarn角色 父主题: 使用Yarn
HetuEngine用户权限管理 HetuEngine用户权限说明 创建HetuEngine权限角色 配置HetuEngine使用代理用户鉴权 父主题: 使用HetuEngine
Flink用户权限管理 Flink安全认证机制说明 Flink用户权限说明 创建FlinkServer权限角色 配置Flink对接Kafka安全认证 配置Flink认证和加密 父主题: 使用Flink
连接IoTDB数据源的IoTDB用户名。 说明: 当IoTDB所在集群为非安全模式时,需使用IoTDB默认用户“root”。 密码 连接IoTDB数据源的IoTDB用户密码。 说明: 当IoTDB所在集群为非安全模式时,请咨询IoTDB所在集群的集群管理员获取用户“root”的密码。 开启ssl
JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 华为提供开源镜像站,各服务样例工程依赖的Jar包通过华为开源镜
argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline.py命令。 父主题:
parquet文件的写入类进行写入,Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时,Hudi使用Avro兼容的parquet文件写入类进行写入,这个和Spark的写入方式是不兼容的。 解决方案: 执行BULK_INSERT时指定设置“hoodie.datasource
SpringBoot样例工程的命令行形式运行 在IDEA界面使用Maven执行install。 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。
nt // 设置并发度 env.setParallelism(1) // 解析运行参数 val paraTool = ParameterTool.fromArgs(args) // 构造流图,将自定义Source生成的数据写入Kafka
Hive表desc描述过长导致无法完整显示 问题现象 desc描述表过长时,如何让描述显示完整? 处理步骤 启动Hive的beeline时,设置参数maxWidth=20000即可,例如: [root@192-168-1-18 logs]# beeline --maxWidth=20000
RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 告警发生时,不能对集群中的KrbServer和LdapServer用户进行任何操作。例如,无法在MRS Manager页面添加、删除或修改任何用户、用户组或角色,也无法修改用户密码。集群中原有的用户验证不受影响。
操作场景 该任务指导用户通过Hue界面提交Java类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Java 程序”按钮,将其拖到操作区中。 在弹出的“Java program”窗口中配置“Jar name”的值,例如“/user
Hive > 配置 > 全部配置”。 选择“HiveServer(角色) > 自定义”,对参数文件“hive-site.xml”添加自定义参数,设置“名称”为“hive.allow.only.admin.create”,“值”为“true”。 单击“保存”保存配置。单击“实例”,勾选所有Hive实例,选择“更多
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 作业名 产生告警的作业名称。 数据库名 产生告警的数据库名称。 Slot名 产生告警的数据库复制槽名称。 积压量 Slot数据积压情况。 对系统的影响 WAL日志在源端数据库不断积压,可能导致
管理MRS集群节点 查看MRS集群节点运行状态 启停MRS集群节点上所有角色 隔离MRS集群节点 修改MRS集群节点机架信息 升级MRS集群Master节点规格 同步MRS集群节点磁盘信息 添加MRS集群节点标签 配置MRS集群节点引导操作 父主题: 管理MRS集群
MRS集群安全配置 集群互信管理 更换MRS集群证书 MRS集群安全加固 修改MRS集群系统用户密码 修改MRS集群数据库用户密码 父主题: MRS集群运维
Spark从Hive读取数据再写入HBase样例程序(Scala) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples
一次读取的topic offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的。 Kafka服务的topic的leader异常后,若Kafka的leader和follower的offset相差太大,用户重启Kafka服务,Kafka的foll
HDFS的运行环境即HDFS客户端,请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境 准备工程 HDFS提供了不同场景下的样例程序,可以导入样例工程进行程序学习。 导入并配置HDFS样例工程 根据场景开发工程 提供样例工程,帮助用户快速了解HDFS各部件的编程接口。
记删除,同时将新的数据写入新的文件。在查询的时候,所有被标记删除的数据都会在文件级别被过滤掉,读取出来的数据就都是最新的数据,消除掉了读时合并中的数据聚合过程,并且能够在很多情况下支持多种谓词的下推。因此在许多场景都能带来比较大的性能提升,尤其是在有聚合查询的情况下。 Duplicate模型