检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
时会转为密集型数据结构。P4HyperLogLog则在其整改生命周期都是密集型数据结构。如有必要,可以显式地转换cast(hll as P4HyperLogLog)。在当前数据引擎的实现中,hll的数据草图是通过一组32位的桶来存储对应的最大hash。 序列化 数据草图可以通过v
xml”文件即可。 如果不想覆盖Maven配置文件,可以参考以下方法手动修改“settings.xml”配置文件或者组件样例工程中的“pom.xml”文件,配置镜像仓地址。 配置方法一:修改“settings.xml”配置文件。 手动在“settings.xml”配置文件的“mi
默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。
-example”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”;如无特殊需求,使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成导入。 在开发环境IntelliJ IDEA中,样例工程的conf目录下,打开文件“clickhouse-example
-mkdir -p /user/developuser/myjobs/apps/spark2x/hive 将表格中的文件上传到对应目录,请参考表2。 表2 文件上传列表 初始文件路径 文件 上传目标目录 Spark客户端目录(如“/opt/client/Spark2x/spark/conf”)
完成客户端的安装和配置。 准备Spark本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要
开源社区的Hive-3.1.0版本基础上,Hive新增如下特性: 基于Kerberos技术的安全认证机制。 数据文件加密机制。 完善的权限管理。 开源社区的Hive特性,请参见https://cwiki.apache.org/confluence/display/hive/designdocs。
角色”,单击“添加角色”,输入角色名称与描述。在“配置资源权限”的表格中选择“待操作集群的名称 > Flink”,勾选“FlinkServer管理操作权限”,单击“确定”,返回角色管理。 选择“系统 > 权限 > 用户”,单击“添加用户”,输入用户名、密码等,用户类型选择“人机”,用户组根据需求添加“h
创建HBase全局二级索引 查询HBase全局二级索引信息 修改HBase全局二级索引状态 批量构建HBase全局二级索引数据 检查HBase全局二级索引数据一致性 基于全局二级索引查询HBase表数据 父主题: HBase企业级能力增强
schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导 使用sqoop-shell工具导入数据到HDFS 使用sqoop-shell工具导入数据到HBase 父主题: 使用Loader
ase /user/developuser/myjobs/apps/spark2x/hive 将表格中的文件上传到对应目录,请参考表2。 表2 文件上传列表 初始文件路径 文件 上传目标目录 Spark客户端目录(如“/opt/client/Spark2x/spark/conf”)
置在哪里? 如何查看HBase日志? HBase表如何设置和修改数据保留期? 如何修改HDFS的副本数? 如何修改HDFS主备倒换类? DynamoDB的number在Hive表中用什么类型比较好? Hive查询数据是否支持导出? Hive使用beeline -e执行多条语句报错如何处理?
开发OpenTSDB应用 OpenTSDB样例程序开发思路 配置OpenTSDB参数 写入OpenTSDB数据 查询OpenTSDB数据 删除OpenTSDB数据 父主题: OpenTSDB开发指南
集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 如果集群启用了安全服务,需要从管理员处获取一个“人机”用户,用于登录FusionInsight Manager平台并通过认证,并且获取到该用户的keytab文件。 获取的用
准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接Hive集群配置文件 配置并导入样例工程
开发Hive应用 Hive样例程序开发思路 创建Hive表 加载Hive数据 查询Hive数据 分析Hive数据 开发Hive用户自定义函数 父主题: Hive开发指南
在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用集群安装用户登录集群客户端节点。 cd /opt/client
钟一个窗口足够读取文本内的所有数据了 val windowTime = ParameterTool.fromArgs(args).getInt("windowTime", 2) // 构造执行环境,使用eventTime处理窗口数据 val env =
请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要