检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
现有表名。 new_table_name 现有表名的新表名。 注意事项 并行运行的查询(需要使用表名获取路径,以读取CarbonData存储文件)可能会在此操作期间失败。 不允许二级索引表重命名。 示例 ALTER TABLE carbon RENAME TO carbondata;
>Browse”。 显示“浏览文件夹”对话框。 选择文件夹“presto-examples”。Windows下要求该文件夹的完整路径不包含空格。 单击“Finish”。 导入成功后,PrestoJDBCExample类,为JDBC接口样例代码。 设置Eclipse的文本文件编码格式,解决乱码显示问题。
a编辑器(或其他编写Python应用程序的IDE)即可。 下载客户端样例配置程序到本地开发环境。 使用FTP工具,将运行调测环境的客户端包文件“MRS_Service_client”下载到本地,并解压得到目录“MRS_Services_ClientConfig”。 父主题: 准备Spark应用开发环境
Spark SQL样例程序(Java) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection: public
存超限。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数 说明 默认值 spark.executor.memoryOverhead 用于指定每个execut
MRS集群部署说明 MRS集群部署方案说明 MRS集群Kerberos认证介绍 MRS集群支持的云服务器规格 父主题: MRS集群规划
向HFS表中的存储文件的列族中插入一个文件,以name为列名,value为文件内容。 public void addFile(String name, byte[] value, long ts) 向HFS表中的存储文件的列族中插入一个文件,以name为列名,value为文件内容,ts为指定的时间戳。
ostname到ip的映射。具体方法为: 修改windows机器C:\Windows\System32\drivers\etc\hosts文件,增加一行hostname到ip的映射,例:10.244.224.45 10-044-224-45,保存后重新访问正常。 父主题: Tez常见问题
Spark SQL样例程序(Java) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection: public
Spark SQL样例程序(Scala) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection: object
obs://并行文件系统名称/tmp/flinkjob/test -output obs://并行文件系统名称/tmp/flinkjob/output 由于Flink作业是On Yarn运行,在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。
ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足,导致建表失败。 解决方法 使用omm用户登录Spark2x所在节点,执行如下命令: vi ${BIGDATA_HOME}/Fus
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效,drop table后文件在回收站的存放路径不改变。 通常,默认情况: 当fs.obs.hdfs.trash.version=2时,回收站路径为:/user/.Tr
memoryOverhead”)作为内存限制,因此在off heap时,内存可能会超出此限制。 您需配置“spark-defaults.conf”文件中的参数“spark.yarn.am.memoryOverhead”以增加Memory。 父主题: CarbonData常见问题
FlinkSQL写入JDBC数据支持ignoreDelete 本章节适用于MRS 3.3.0及以后版本。 使用场景 FlinkSQL写入JDBC数据时可以过滤掉DELETE和UPDATE_BEFORE状态的数据。 使用方法 在创建的JDBC Connector Sink流表中添加“filter
位置的文件。 -f <urilist_uri> 将<urilist_uri>文件的内容作为需要拷贝的文件列表。 -filters 指定一个本地文件,其文件内容是多条正则表达式。当被拷贝的文件与某条正则表达式匹配时,则该文件不会被拷贝。 -async 异步运行distcp命令。 -atomic
监控节点进程的YARN的Container GC日志,如果频繁出现Full GC,需要优化GC。 GC的配置:在客户端的“conf/flink-conf.yaml”配置文件中,在“env.java.opts”配置项中添加参数:“-Xloggc:<LOG_DIR>/gc.log -XX:+PrintGCDetails
限。 要求文件的格式与表指定的存储格式相同。如创建表时指定stored as rcfile,但是文件格式为txt,则不符合要求。 文件必须是HDFS上的文件,不可以用file://的形式指定本地文件系统上的文件。 文件名不能以下横线(_)或点(.)开头,以这些开头的文件会被忽略。
管理MRS集群 查看MRS集群基本信息 查看MRS集群运行状态 启动停止MRS集群 重启MRS集群 导出MRS集群配置参数 同步MRS集群配置 克隆MRS集群 转换MRS按需集群为包周期集群 删除MRS集群 切换MRS集群VPC子网 修改MRS集群NTP服务器 修改OMS服务配置
test filegroups 文件分组列表名,此参数不能为空。该值包含如下两项参数: 名称:文件分组列表名。 filegroups:动态日志文件绝对路径。 - positionFile 保存当前采集文件信息(文件名和已经采集的位置),此参数不能为空。该文件不需要手工创建,但其上层目录需对flume运行用户可写。