检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
lumn Family组成。一个CF(Column Family)可以由任意多个Column组成。Column是CF下的一个标签,可以在写入数据时任意添加,因此CF支持动态扩展,无需预先定义Column的数量和类型。HBase中表的列非常稀疏,不同行的列的个数和类型都可以不同。此
Core节点已经扩容完成,节点管理页面可以看到新扩容的节点: 任务管理中有添加节点的任务失败或部分成功: 若IAM用户已同步,可在组件管理观察到存在未启动角色。 若未同步,可在集群Manager页面观察到存在未启动角色。 处理步骤 场景一:添加节点任务在安装组件前失败 如果MRS集群为按需购买集群:
create '<table name>', {NAME => 'd', ENCRYPTION => '<type>'} 使用代码创建表时,在代码中添加如下信息设置加密方式为SMS4或AES。 public void testCreateTable() { String tableName
同。 ClickHouse赋权成功后,权限生效时间大约为1分钟。 添加ClickHouse角色 登录Manager,选择“系统 > 权限 > 角色”,在“角色”界面单击“添加角色”按钮,进入添加角色页面。 在添加角色界面输入“角色名称”,在配置资源权限处单击集群名称,进入服务列表
空字符串 被拼接字段名 配置需要被拼接字段名。 字段名:需填写上一个转换步骤生成的字段名,可添加多个。 map 是 无 数据处理规则 按顺序将“被拼接字段名”中配置的字段的值,通过连接符拼接后,赋给“输出字段名”。 当有字段的值为null时,会转化为空字符串,再与其他字段值拼接。 样例
空字符串 被拼接字段名 配置需要被拼接字段名。 字段名:需填写上一个转换步骤生成的字段名,可添加多个。 map 是 无 数据处理规则 按顺序将“被拼接字段名”中配置的字段的值,通过连接符拼接后,赋给“输出字段名”。 当有字段的值为null时,会转化为空字符串,再与其它字段值拼接。 样例
使用HBase创建/查询HBase表。需要MRS集群已安装HBase组件并添加Thrift1Server实例。 使用导入器通过“.csv”,“.txt”等格式的文件导入数据。 使用创建的用户第一次登录Hue WebUI,需修改密码。 用户获取Hue WebUI的访问地址后,可以给其他无法访问Manager的用户用于访问Hue
失败的情况。 当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。 “作业类型”选择“MapReduce”,并配置其他作业信息。 图1 添加MapReduce作业 表1 作业配置信息 参数 描述 示例 作业名称 作
若在对数据库/表进行相关操作时指定了HDFS路径,需参考表2在Ranger中给用户添加HDFS路径的相关权限。 否,创建用户并在Manager赋予用户相关操作权限: 选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称,例如developrole。 在“配置资源权限”的表格中选择“待操作集群的名称
Spark > 配置 > 全部配置 ”。 在左侧的导航列表中选择“SparkResource > 自定义”。在自定义配置项中,给参数“custom”添加配置项“spark.sql.warehouse.location.first”,设置值为“true”。 图1 spark.sql
情况。 当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。 “作业类型”选择“HiveSql”并参考表1配置HiveSql作业信息。 图1 添加HiveSql作业 表1 作业配置信息 参数 描述 示例 作业名称
配置Flink作业时,可通过在FlinkServer WebUI的Flink作业开发界面添加自定义参数“table.optimizer.graph-merge-enabled”为“true”开启Lookup算子复用功能,可参考如何创建FlinkServer作业。 SQL示例: create table
properties”,如果没有,则添加编译路径。 在IntelliJ IDEA中选择“File > Project Structure > Modules”,然后将内含“log4j.properties”和“UserInfo.properties”的“conf”文件夹添加为Source Folders。
Presto > 配置 > 全部配置”。 在搜索框中搜索“ connector-customize”。 添加名为myhive的connector。 在connector-customize中添加配置: myhive.connector.name=hive-hadoop2 myhive.hive
进入Manager页面。 如需给其他网络段用户开通访问Manager的权限,可手动修改安全组,添加对应用户访问公网的IP地址范围。 在集群信息页面单击弹性公网IP后的“添加安全组规则”如图2所示。 图2 集群详情页面 进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP
group XXX”如何处理? Kudu支持的压缩算法有哪些? 如何查看Kudu日志? 新建集群Kudu服务异常如何处理? Presto如何配置其他数据源? MRS 1.9.3 Ranger证书如何更新? MRS的Storm集群提交任务时如何指定日志路径? 如何检查Yarn的ResourceManager配置是否正常?
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_
IoTDB Kafka样例程序 功能简介 该样例介绍如何通过Kafka将数据发送到IoTDB。 代码样例 Producer.java: 该样例展示如何将时序数据发送到Kafka集群。 根据实际场景,修改“KafkaProperties.java”文件中的“TOPIC”变量,例如:public
进入Manager页面。 如需给其他网络段用户开通访问Manager的权限,可手动修改安全组,添加对应用户访问公网的IP地址范围。 在集群信息页面单击弹性公网IP后的“添加安全组规则”如图2所示。 图2 集群详情页面 进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP
流处理等),同时存放不同类型和格式的数据。 部分用户(例如银行、政府单位等)对数据安全非常关注,不接受将自己的数据与其他用户放在一起。 这给大数据集群带来了以下挑战: 合理地分配和调度资源,以支持多种应用和作业在集群上平稳运行。 对不同的用户进行严格的访问控制,以保证数据和业务的安全。