检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<checkPointDir>指应用程序结果备份到HDFS的路径,自行指定即可,例如“/tmp”。 <brokers>指获取元数据的Kafka地址,格式为“Broker实例IP地址:Kafka连接端口”。 <topic>指读取Kafka上的topic名称。 <batchTime>指Stre
rt|analyze操作前需要单独对hdfs上的表目录赋予写权限。 当前对spark datasource表赋予Insert权限时,如果表格式为:text|csv|json|parquet|orc,则不会修改表目录的权限。因此,对以上几种类型的datasource表赋予Inser
String 参数解释: 资源计划的起始时间。格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time 是 String 参数解释: 资源计划的结束时间,格式与“start_time”相同。 约束限制:
//archive.apache.org/dist/spark/docs/3.1.1/submitting-applications.html Spark shell命令 Spark基本shell命令,支持提交Spark应用。命令为: ./bin/spark-submit \
操作前请提前准备以下信息: 准备一个SSH客户端用于创建SSH隧道,例如使用开源SSH客户端Git。请下载并安装。 已创建好集群,并准备pem格式的密钥文件或创建集群时的密码。 用户本地环境可以访问互联网。 登录MRS管理控制台,选择“现有集群”。 单击指定名称的MRS集群。 记录集群的“安全组”
CAST操作永远不会失败,而是返回NULL,类似于TRY_CAST,但不会推断正确的类型。 对于某些转换为CHAR/VARCHAR/STRING的格式化操作,结果可能略有不同。 我们不建议使用此标志,并强烈建议新项目保持禁用该标志并使用新的类型转换行为。该标志将在未来的Flink版本中被移除。
操作前请提前准备以下信息: 准备一个SSH客户端用于创建SSH隧道,例如使用开源SSH客户端Git。请下载并安装。 已创建好集群,并准备pem格式的密钥文件或创建集群时的密码。 用户本地环境可以访问互联网。 登录MRS管理控制台,选择“现有集群”。 单击指定名称的MRS集群。 记录集群的“安全组”
Nullify:用NULL值替换原值。 Unmasked(retain original value):不脱敏,显示原数据。 Date: show only year:日期格式数据只显示年份信息。 Custom:可使用任何有效Hive UDF(返回与被屏蔽的列中的数据类型相同的数据类型)来自定义策略。 如需添加多列的脱敏策略,可单击按钮添加。
固定值:s3 storage_configuration.disks.disk_s3.endpoint 创建的OBS并行文件系统的访问路径,具体格式如下: https://并行文件系统名.并行文件Endpoint/文件夹名称/ 并行文件系统名:创建OBS并行文件系统中创建的OBS并行文件名。
丢失的问题。 解决spark show tables不支持Ranger鉴权的问题。 解决无法获取包含genericUDF执行计划的json格式的问题。 Show Tables增加Ranger鉴权的开关。 解决Spark作业Driver经常Full GC报OOM异常的问题。 解决创
当指定多个tag进行查询时,标签之间是与的关系。 约束限制: 不涉及 取值范围: tags参数的格式为tags=k1*v1,k2*v2,k3*v3 当标签的value为空时,格式为tags=k1,k2,k3*v3 默认取值: 不涉及 pageSize 否 String 参数解释:
了对用户自定义分隔符的支持,用户可以采用限定长度内的任意可见字符进行组合作为分隔符来导入数据文件。 HBase开源增强特性:使用HAR文件格式拆分WAL文件 该内容适用于MRS 3.2.0及之后版本。 当RegionServer发生故障或重启时,HMaster会使用ServerC
maxLatitude:Double类型,最大纬度 SPATIAL_INDEX.xxx.conversionRatio:Int类型,将经纬度小数值转换为整型值 用户可以按照上述格式为处理程序添加自己的表属性,并在自定义实现类中访问它们。originLatitude,gridSize及conversionRatio是必
maxLatitude:Double类型,最大纬度 SPATIAL_INDEX.xxx.conversionRatio:Int类型,将经纬度小数值转换为整型值 用户可以按照上述格式为处理程序添加自己的表属性,并在自定义实现类中访问它们。originLatitude,gridSize及conversionRatio是必
单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。 客户端软件包名称格式为:“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。
删除前请务必再次确认该操作的必要性,同时要保证数据已完成备份。 缩容集群 该操作会导致数据丢失。 缩容前请务必再次确认该操作的必要性,同时要保证数据已完成备份。 卸载磁盘或格式化数据盘 该操作会导致数据丢失。 操作前请务必再次确认该操作的必要性,同时要保证数据已完成备份。 Manager操作 修改OMS密码 该操
解决HetuEngine对Hudi的bucket索引mor表和mor_rt表查询失败问题。 解决HetuEngine查询Hive的LZ4压缩格式数据失败问题。 解决HetuEngine查询Hudi的OBS表失败问题。 解决HetuEngine多hashkey时,查询条件包含单个hashkey时,无法查出结果的问题。
String 参数解释: 资源计划的起始时间。格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time 是 String 参数解释: 资源计划的结束时间,格式与“start_time”相同。 约束限制:
若输入带有敏感信息(如登录密码)的参数可能在作业详情展示和日志打印中存在暴露的风险,请谨慎操作。 提交HiveScript或HiveSql类型的作业时如需以“obs://”开头格式访问存储在OBS上的文件,请在Hive服务配置页面搜索参数“core.site.customized.configs”,新增OBS的endpoint配置项,参数为“fs