检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“创建Catalog”，配置以下参数后，单击“提交”。 Catalog名称：hive（固定名称，不可自定义） 选择位置：单击“”选择Catalog对应的OBS存储路径，例如选择“obs://lakeformation-test/hive”（需提前创建），单击“确定”。 其他参数根据实际需要进行配置。
Spark SQL样例程序（Scala） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： object
memoryOverhead”）作为内存限制，因此在off heap时，内存可能会超出此限制。 您需配置“spark-defaults.conf”文件中的参数“spark.yarn.am.memoryOverhead”以增加Memory。 父主题： CarbonData常见问题
-input obs://并行文件系统名称/tmp/flinkjob/test -output obs://并行文件系统名称/tmp/flinkjob/output 由于Flink作业是On Yarn运行，在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。 通常，默认情况： 当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/.Tr
getCurrentWatermark: Watermark = { new Watermark(System.currentTimeMillis()) } // 给每个元组打上时间戳
} } } private def printUsage { System.out.println("Usage: {zkQuorum}") System.exit(1) } } /** * 序列化辅助类 */ class MyRegistrator
getCurrentWatermark: Watermark = { new Watermark(System.currentTimeMillis()) } // 给每个元组打上时间戳
压缩归档功能，缺省情况下，当日志大小超过30MB的时候，会自动压缩。最多保留20个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 ZooKeeper日志列表 日志类型 日志文件名 描述 运行日志 zookeeper-<SSH_USER>-<process_name>-<hostname>
（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Tez日志列表 日志类型 日志文件名 描述 运行日志
读取Hudi cow表视图 实时视图读取（Hive，SparkSQL为例）：直接读取Hive里面存储的Hudi表即可，${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取（Spark dataSource A
log”和“hue-audits.log”大小超过5MB的时候，会自动压缩。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Hue日志列表 日志类型 日志文件名 描述 运行日志 access.log 访问日志。 error.log 错误日志。 gsdb_check
l中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env 修改配置文件： vim 客户端安装目录
为已经存在的表设置冷热分离，或者修改冷热分离分界线，单位为秒，可实现数据热存储转为冷存储或冷存储转为热存储，例如： 将热存储数据转为冷存储数据： 将写入到hot_cold_table表的f列的超过一天（86400秒）的数据归档到冷存储中： alter 'hot_cold_table', {NAME=>'f'
Spark SQL样例程序（Scala） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： object
存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数 说明 默认值 spark.executor.memoryOverhead 用于指定每个execut
现有表名。 new_table_name 现有表名的新表名。 注意事项 并行运行的查询（需要使用表名获取路径，以读取CarbonData存储文件）可能会在此操作期间失败。 不允许二级索引表重命名。 示例 ALTER TABLE carbon RENAME TO carbondata;
环境。 选择“File > Import > General > Existing Projects into Workspace > Next >Browse”。 显示“浏览文件夹”对话框。 选择文件夹“presto-examples”。Windows下要求该文件夹的完整路径不包含空格。
a编辑器（或其他编写Python应用程序的IDE）即可。 下载客户端样例配置程序到本地开发环境。 使用FTP工具，将运行调测环境的客户端包文件“MRS_Service_client”下载到本地，并解压得到目录“MRS_Services_ClientConfig”。 父主题： 准备Spark应用开发环境
数据分析任务。 样例代码 以下分析任务示例在“hive-examples/python3-examples/pyCLI_nosec.py”文件中。 导入hive类 from pyhive import hive 创建JDBC连接： connection = hive.Connec
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
