检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs
追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs
v: vi Hive客户端安装目录/Hive/component_env 在变量“export CLIENT_HIVE_URI”所在行后面添加如下内容: \;user.principal=用户名@HADOOP.COM\;user.keytab=user.keytab文件所在路径/user
如hetu_user,可参考创建HetuEngine权限角色。启用Ranger鉴权的集群需根据业务需求为该hetu_user添加Ranger权限,可参考添加HetuEngine的Ranger访问权限策略。 已创建计算实例并运行正常,可参考创建HetuEngine计算实例。 访问编辑器
MapReduce > 配置 > 全部配置”,在左侧的导航列表中选择“Mapreduce > 自定义”。在自定义配置项中,给参数文件“core-site.xml”添加配置项“mapreduce.jobhistory.always-scan-user-dir”,设置值为“true”。
park REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询,MRS版本中添加了查询SQL、JDBC/ODBC Server和Streaming的信息的REST接口。开源REST接口完整和详细的描述请参考官网上的文档
创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Fs”按钮,将其拖到操作区中。 在弹出的“Fs”窗口中单击“添加”。 单击“CREATE DIRECTORY+”,添加待创建的HDFS目录。例如“/user/admin/examples/output-data/mkdir_wor
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明(1) 参数 描述 默认值 spark.sql.authorization
用户问题 安全集群Alluixo在HA模式下出现Does not contain a valid host:port authority的报错,如何处理? 问题现象 安全集群中,Alluixo在HA模式下出现Does not contain a valid host:port authority的报错。
SDS(CD_ID); 重新查看执行计划,发现语句已经可以索引查询,且5ms执行完成(原来是700ms)。重新执行hive表字段增加,已经可以添加成功。 父主题: 使用Hive
serializable result: org.apache.hadoop.hbase.io.ImmutableBytesWritable,应该如何处理? 回答 可通过如下两种方式处理: 在代码的SparkConf初始化之前执行以下两行代码: System.setProperty("spark
据指导完成客户端的安装和配置。 准备HDFS应用运行环境 下载并导入样例工程 HDFS提供了不同场景下的样例程序,可以导入样例工程进行程序学习。 导入并配置HDFS样例工程 根据场景开发工程 提供样例工程,帮助用户快速了解HDFS各部件的编程接口。 HDFS样例程序开发思路 编译并运行程序
成客户端的安装和配置。 OpenTSDB应用开发环境简介 准备工程 OpenTSDB提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个OpenTSDB工程。 导入并配置OpenTSDB样例工程 根据场景开发工程 提供了Java语言的样例工程,
准备连接Hive集群配置文件 配置并导入样例工程 HIve提供了不同场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 导入并配置Hive样例工程 配置安全认证 如果您使用的是JDBC访问开启了Kerberos认证的MRS集群,需要进行安全认证。 配置Hive
准备MapReduce应用运行环境 获取并导入样例工程 或者新建工程 MapReduce提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个MapReduce工程。 导入并配置MapReduce样例工程 根据场景开发工程 提供了样例工程。 帮助用户
指导完成客户端的安装和配置。 准备Storm应用开发和运行环境 准备工程 Storm提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 导入并配置Storm样例工程 根据场景开发拓扑 提供了Storm拓扑的构造和Spout/Bolt开发过程。 开发Storm应用 打包IntelliJ
据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程 HetuEngine提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个HetuEngine工程。 导入并配置HetuEngine样例工程 准备安全认证 如果使用的是安全集群,需要进行安全认证。
端的安装和配置。 准备MapReduce开发和运行环境 准备工程 MapReduce提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个MapReduce工程。 导入并配置MapReduce样例工程 (可选)创建MapReduce样例工程 准备安全认证
描述 注意事项 添加索引 addIndices() 将索引添加到没有数据的表中。调用此接口会将用户指定的索引添加到表中,但会跳过生成索引数据。因此,在此操作之后,索引不能用于scan/filter操作。该接口使用场景为用户想要在具有大量预先存在用户数据的表上批量添加索引,其具体操作
基于全局二级索引查询HBase表数据 功能简介 添加了全局二级索引的用户表,在使用索引条件进行查询时,可以转换为对索引表的范围查询,性能高于针对无二级索引用户表的数据查询。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“Globa