检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase应用程序开发流程 表1 HBase应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前,需首先准备开发环境,推荐使用Java语言进行开发,使用IntelliJ IDEA工具,同时完成JDK、Maven等初始配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开
实际域名”。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。 使用准备集群认证用户信息中创建的开发用户执行以下命令运行客户端程序: kinit -kt keytab的存储路径 username
Metastore中。由于缺失新写入的分区信息,查询引擎读取该时会丢数。 禁止指定Hudi的索引类型为INMEMORY类型。 该索引仅是为了测试使用。生产环境上使用该索引将导致数据重复。 建表示例 create table data_partition(id int, comb int, col0
JDK:推荐1.7.8.10、1.7.9.40和1.8.3.0版本。 说明: 如果开发环境使用的是JDK1.7版本,则Flink集群的运行环境可以是JDK1.7也可以是JDK1.8。 如果开发环境使用的是JDK1.8版本,则Flink集群的运行环境必须是JDK1.8,否则,如果运行环境是JDK1
Hive应用程序开发流程 表1 Hive应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前,需首先准备开发环境,推荐使用Java语言进行开发,使用IntelliJ IDEA工具,同时完成JDK、Maven等初始配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开
在开始开发应用前,需要了解Storm的基本概念,了解场景需求,拓扑等。 Storm应用开发常用概念 准备开发和运行环境 Storm的应用程序当前推荐使用Java语言进行开发。可使用IntelliJ IDEA工具。 Storm的运行环境即Storm客户端,请根据指导完成客户端的安装和配置。 准备Storm应用开发和运行环境
要生成的加密密钥的长度,支持设置为“192”或“256”。 256 spark.network.crypto.keyFactoryAlgorithm 生成加密密钥时使用的算法。 PBKDF2WithHmacSHA1 spark.io.encryption.enabled 启用本地磁盘I/O加密。 安全模式:true
owkey由索引列构成,并且包含分隔符,格式为“\x01索引值\x00”,因此预分区需要指定成对应格式,例如,当使用id列和age列作为索引列时,两个列均为整数,使用id列完成预分区,可以指定索引表预分区点为: \x010,\x011,\x012.... 代码样例 以下代码片段在com
OozieSparkHBaseExample和OozieSparkHiveExample样例工程,请参考使用Oozie调度Spark2x访问HBase以及Hive。 使用客户端上传Oozie的examples文件夹到HDFS。 登录客户端所在节点,切换到客户端所在目录,例如“/opt/client”。
owkey由索引列构成,并且包含分隔符,格式为“\x01索引值\x00”,因此预分区需要指定成对应格式,例如,当使用id列和age列作为索引列时,两个列均为整数,使用id列完成预分区,可以指定索引表预分区点为: \x010,\x011,\x012.... 代码样例 以下代码片段在com
DBServer RPC端口 # 进行认证的用户名 username=developuser # 进行认证的用户密码,该密码建议密文存放,使用时解密,确保安全。 password=xxx 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ
SSH登录:仅适用于Linux弹性云服务器,您可以使用远程登录工具(例如PuTTY)登录弹性云服务器,此时需要该弹性云服务器绑定弹性IP地址。 集群节点申请和绑定弹性IP,请参见申请EIP并绑定至ECS。 可以使用密钥方式也可以使用密码方式登录Linux弹性云服务器,详情请参见登录MRS集群节点。
在开始开发应用前,需要了解Storm的基本概念,了解场景需求,拓扑等。 Storm应用开发常用概念 准备开发和运行环境 Storm的应用程序当前推荐使用Java语言进行开发。可使用IntelliJ IDEA工具。 Storm的运行环境即Storm客户端,请根据指导完成客户端的安装和配置。 准备Storm应用开发和运行环境
说明 参考文档 了解基本概念 在开始开发应用前,需要了解MapReduce的基本概念。 MapReduce应用开发简介 准备开发和运行环境 使用IntelliJ IDEA工具,请根据指导完成开发环境配置。 MapReduce的运行环境即MapReduce客户端,请根据指导完成客户端的安装和配置。
level GROUP BY type, level ) Projection的使用 如下SQL查询的时候会走表达式: SELECT type, count() FROM test_projection_table WHERE
easy_install命令,找到easy_install程序路径。如果有多个路径,使用easy_install --version确认选择setuptools对应版本的easy_install,例如:/usr/local/bin/easy_install。 使用对应的easy_install命令,安装dependency_python3
easy_install命令,找到easy_install程序路径。如果有多个路径,使用easy_install --version确认选择setuptools对应版本的easy_install,例如/usr/local/bin/easy_install。 使用对应的easy_install命令,安装dependency_python3
表示加密,默认不加密。 说明: 仅当“hadoop.rpc.protection”设置为“privacy”时使用。 业务数据传输量较大时,默认启用加密对性能影响严重,使用时请注意。 如果互信集群的一端集群配置了数据传输加密,则对端集群也需配置同样的数据传输加密。 false dfs
点组信息。 在“磁盘使用率”列,检查磁盘空间是否不足。 是,执行3.c。 否,执行4.a。 对磁盘进行扩容。 等待5分钟后,在“告警管理”页签,查看该告警是否恢复。 是,处理完毕。 否,执行4.a。 检查NameNode节点是否进入安全模式。 在集群节点使用客户端,执行hdfs dfsadmin
例如KrbServer组件和LdapServer组件。 实例 组件的具体实例,一般情况下可使用组件表示。 例如KrbServer组件。 角色 组成一个完整组件的一类功能实体,一般情况下可使用角色表示。 例如KrbServer由KerberosAdmin角色和KerberosServer角色组成。