检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用BulkLoad工具查询HBase表的行统计数 操作场景 HBase BulkLoad工具支持根据rowkey的命名规则、rowkey的范围、字段名以及字段值统计符合条件的行数。 操作步骤 直接执行如下命令统计满足如下条件的行数。rowkey在从“row_start”到“ro
批量加载HBase数据并生成本地二级索引 场景介绍 HBase本身提供了ImportTsv&LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HB
FineBI是一款商业智能产品,针对企业信息化遇到的困难,为企业提供专业的商业智能解决方案。 本章节以FineBI 5.1.9版本为例,讲解如何使用FineBI访问安全模式MRS集群的HetuEngine。 方案架构 出于管理和信息收集的需要,企业内部会存储海量数据,包括数目众多的
配置用户租约隔离访问指定节点的HiveServer 操作场景 此功能适用于Hive。 开启此功能可以限定指定用户访问指定节点上的HiveServer服务,实现对用户访问HiveServer服务的资源隔离。 本章节适用于MRS 3.x及后续版本。 操作步骤 以对用户hiveuser
配置多主实例与多租户模式切换 配置场景 在使用集群中,如果需要在多主实例模式与多租户模式之间切换,则还需要进行如下参数的设置。 多租户切换成多主实例模式 修改Spark2x服务的以下参数: spark.thriftserver.proxy.enabled=false spark.scheduler
修改HBase全局二级索引状态 索引状态介绍 索引状态反映了索引当前的使用情况,全局二级索引支持以下五种状态: ACTIVE:索引正常,可以正常读写。 UNUSABLE:索引被禁用,索引数据会正常写入,查询时无法使用这个索引。 INACTIVE:索引异常,索引数据与数据表不一致,
类型,需设置为“avro”。每一种source的类型都为相应的固定值。 仅可在“properties.properties”文件中配置。 bind - 绑定和source关联的主机名或IP地址。 port - 绑定端口号。 ssl false 是否使用SSL加密。 true false truststore-type
类型,需设置为“avro”。每一种source的类型都为相应的固定值。 仅可在“properties.properties”文件中配置。 bind - 绑定和source关联的主机名或IP地址。 port - 绑定端口号。 ssl false 是否使用SSL加密。 true false truststore-type
配置BulkloadTool工具支持解析自定义分隔符 操作场景 Phoenix提供了批量数据导入工具CsvBulkloadTool,相关特性介绍请参见https://phoenix.apache.org/bulk_dataload.html,在此特性基础上,支持导入自定义分隔符文
verifyPartitionPath=true $SPARK_HOME/lib/spark-examples_*.jar 父主题: Spark SQL企业级能力增强
通过JDBC客户端代码连接JDBCServer,来访问SparkSQL的数据。详细指导请参见通过JDBC访问Spark SQL样例程序。 增强特性 对比开源社区,华为还提供了两个增强特性,JDBCServerHA方案和设置JDBCServer连接的超时时间。 JDBCServerHA方案,多个JDBCS
在“Dependencies”页面,修改“Module SDK”为“SDKs”中添加的JDK。 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File
SDK”为“SDKs”中添加的JDK。 图6 修改“Module SDK” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File
trans.file></sqoop.job.trans.file> </sqoop.job> </root> Loader每个作业都需要关联一个连接器,连接器主要作用:对于数据导入到集群的场景来说,就是从外部数据源读取数据;对于数据从集群导出去的场景来说,就是将数据写入到外部数
trans.file></sqoop.job.trans.file> </sqoop.job> </root> Loader每个作业都需要关联一个连接器,连接器主要作用:对于数据导入到集群的场景来说,就是从外部数据源读取数据;对于数据从集群导出去的场景来说,就是将数据写入到外部数
例如客户端安装目录为“/opt/hadoopclient”。 如果集群已开启Kerberos认证,已在Manager界面创建1个人机用户并关联到hadoop和hive用户组,主组为hadoop。 操作步骤 下载并安装Hudi客户端,具体请参考安装MRS客户端章节。 使用客户端安装
"); // // //!!注意,安全认证时,需要用户手动修改为自己申请的机机账号 // securityPrepare(); // } //
out查看执行情况(打印“rollback_package patch success.”表示执行完成)。 ECS重置密码插件升级(可选) 华为云ECS服务提供了一键式重置密码功能,弹性云服务器的密码丢失或过期时,可使用该功能进行一键式重置密码。重置密码插件为ECS内部运行的客户端
SDK”为“SDKs”中添加的JDK。 图6 修改“Module SDK” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File
属存储资源。 主机安全 MRS支持与公有云安全服务集成,支持漏洞扫描、安全防护、应用防火墙、堡垒机、网页防篡改等。针对操作系统和端口部分,华为云提供如下安全措施: 操作系统内核安全加固 操作系统权限控制 操作系统端口管理 应用安全 通过如下措施保证大数据业务正常运行: 身份鉴别和认证