检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff
字符串大小写转换 概述 “字符串大小写转换”算子，用于配置已生成的字段通过大小写变换，转换出新的字段。 输入与输出 输入：需要转换大小写的字段 输出：转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息：
使用REST接口查询HBase集群信息 功能简介 使用REST服务，传入对应host与port组成的url，通过HTTP协议，获取集群版本与状态信息。 代码样例 连接RestServer服务 普通模式下，用户不需要登录即可连接RestServer服务。所以请将“hbase-rest-exampl
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
Kudu应用开发常用概念 Table Table有schema和primary key属性，且可以划分为多个tablet。 Tablet Tablet是指数据分片，可以指定副本数，存放在多个tablet server上，多个副本中有一个是leader tablet；所有的副本都可
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。 运行任务 进入Spark客户端目录，调用bin/spark-submit脚本运行
Oozie Java接口介绍 Java API主要由org.apache.oozie.client.OozieClient提供。 表1 接口介绍 方法 说明 public String run(Properties conf) 运行job public void start(String
次关联操作无效。 为已有的租户关联ClickHouse服务 在FusionInsight Manager页面，选择“租户资源”，选中需要操作的租户，选择“服务关联”页签，单击“关联服务”，具体参数如下表所示： 参数 描述 服务 选择“ClickHouse” 关联类型 选择“共享”
Spark SQL样例程序（Scala） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： object
如何迁移OBS/S3的数据到ClickHouse 问题 如何迁移OBS/S3的数据到MRS ClickHouse。 回答 查询S3中的数据： select * from s3(path [,access_key_id, secret_access_key] [,format] [
(GET) 描述 获取服务器WebHCat的版本 URL http://www.myserver.com/templeton/v1/version 参数 无 返回结果 参数 描述 supportedVersions 所有支持的版本。 version 当前服务器WebHCat的版本。
Java样例代码 功能简介 在Spark应用中，通过使用HBase接口来实现创建表，读取表，往表中插入数据等操作。 代码样例 下面代码片段仅为演示，具体代码参见SparkOnHbaseJavaExample： 样例：创建HBase表 public class TableCreation
"tags":{"key":"value"}}' https://<tsd_ip>:4242/api/put?sync <tsd_ip>表示所需写入数据的Opentsdb服务的TSD实例的IP地址。 HTTP/1.1 204 No Content Content-Type: application/json; charset=UTF-8
安全模式支持配置创建临时函数是否需要ADMIN权限功能，而普通模式不支持该功能。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页
清理。 使用约束 本特性需要启动Spark JDBCServer服务，借助JDBCServer服务常驻进程的能力定期清理残留文件。 本特性需要同时配置修改Spark客户端参数、 Spark JDBCServer服务端参数。 支持清理目录： /user/用户/.sparkStaging/
在IoTDBServer节点调测UDF应用 注册UDF 使用UDF进行查询 卸载UDF 父主题： 调测IoTDB应用
导入并配置IoTDB样例工程 背景信息 获取IoTDB开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src/iotdb-examples”目录下的样例工程，可根据实际业务场景选择对应的样例。
Ranger常见问题 安装集群过程中Ranger启动失败 如何判断某个服务是否使用了Ranger鉴权 新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时，无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户
使用Spark2x（MRS 3.x及之后版本） Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强
Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark（MRS 3.x之前版本）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
