检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
y 分隔符 --input-null-string '\\N' --input-null-non-string '\\N' -m 1 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 样例: sqoop export
datasource.hive_sync.enable指定为false。 指定为false将导致新写入的分区无法同步到Hive Metastore中。由于缺失新写入的分区信息,查询引擎读取该时会丢数。 禁止指定Hudi的索引类型为INMEMORY类型。 该索引仅是为了测试使用。生产环境上使用该索引将导致数据重复。
参数值,BE节点已绑定的网卡IP可通过“BE安装目录/FusionInsight_Doris_*/1_*_BE/etc/ENV_VARS”中的“CURRENT_INSTANCE_IP”变量查看。 “priority_network”主要用于帮助系统选择正确的网卡IP作为FE或BE
Manager系统,选择“集群 > 服务 > Spark > 配置 > 全部配置 >JDBCServer(角色) > 自定义”,在“custom”中添加如下参数,并重启JDBCServer服务: 参数 说明 默认值 spark.yarn.session.to.application.clean
8xlarge.8 其中, A表示系列,例如:s表示通用型、c表示计算型、m表示内存型。 B表示系列号,例如:s1中的1表示通用型I代,s2中2表示通用型II代。 C表示规格,当前系列中的规格大小,例如:medium、large、xlarge。 D表示内存、CPU比,以具体数字表示,例如4表示内存和CPU的比值为4。
PORT”中自行配置。 运行该命令后,根据实际需求指定业务用户名(集群未启用Kerberos认证(普通模式)使用root用户登录): 指定业务用户名,则输入“yes”,并根据提示输入业务用户名和对应的业务用户密码: 不指定业务用户名,则输入“no”;此时,则使用1.d中的用户执行后续操作:
该问题是由于HDFS客户端运行时所需的内存超过了HDFS客户端设置的内存上限(默认为128MB)。可以通过修改“<客户端安装路径>/HDFS/component_env”中的“CLIENT_GC_OPTS”来修改HDFS客户端的内存上限。例如,需要设置该内存上限为1GB,则设置: CLIENT_GC_OPTS="-Xmx1G"
表输入:将关系型数据库表的指定列按顺序转换成同等数量的输入字段。 HBase输入:将HBase表的指定列转换成同等数量的输入字段。 HTML输入:将HTML文件中的元素转换成输入字段。 Hive输入:将Hive表的指定列转换成同等数量的输入字段。 转换 长整型时间转换:实现长整型数值与日期类型的互换。
表输入:将关系型数据库表的指定列按顺序转换成同等数量的输入字段。 HBase输入:将HBase表的指定列转换成同等数量的输入字段。 HTML输入:将HTML文件中的元素转换成输入字段。 Hive输入:将Hive表的指定列转换成同等数量的输入字段。 转换 长整型时间转换:实现长整型数值与日期类型的互换。
merge-on condition当前只支持主键列。 当前仅支持对COW表进行部分字段更新,且更新值必须包含预合并列,MOR表需要在Update语法中给出全部字段。 示例 部分字段更新 create table h0(id int, comb int, name string, price
TSeriesPartitionSlot size + TConsensusGroupId size)= 0.68G IoTDBServer容量规格 IoTDB中数据以region分配在IoTDBServer上,region副本数默认是“3”,最终在IoTDBServer文件系统上表现为3个文件。上限
cleaning操作只有在满足触发条件后才会对分区的老版本数据文件进行清理,不满足触发条件虽然执行命令成功也不会执行清理。 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
DATA TYPE参数描述 参数 描述 db_name 数据库名。若未指定,则选择当前数据库。 table_name 表名。 col_name 表中的列名称。列名称包含字母,数字和下划线(_)。 changed_column_type 所要更改为的新数据类型。 注意事项 仅在没有数据丢失
_backup_20220222222222'); 注意事项 命令只清理无效的parquet文件。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi CALL COMMAND语法说明
REPLACE VIEW类似。 “ALTER VIEW view_name SET TBLPROPERTIES table_properties;”中table_properties格式为 (property_name = property_value, property_name = property_value
选择“Workflow”,打开Workflow编辑器。 单击“文档”后的下拉框选择“操作”, 在操作列表中选择需要创建的作业类型,将其拖到操作界面中即可。 不同类型作业提交请参考以下章节: 使用Hue提交Oozie Hive2作业 使用Hue提交Oozie Spark2x作业 使用Hue提交Oozie
导致这个问题的主要原因是,yarn-client和yarn-cluster模式在提交任务时setAppName的执行顺序不同导致,yarn-client中setAppName是在向yarn注册Application之前读取,yarn-cluser模式则是在向yarn注册Application之
选择“Workflow”,打开Workflow编辑器。 单击“文档”后的下拉框选择“操作”, 在操作列表中选择需要创建的作业类型,将其拖到操作界面中即可。 不同类型作业提交请参考以下章节: 使用Hue提交Oozie Hive2作业 使用Hue提交Oozie Spark2x作业 使用Hue提交Oozie
scheduler.maximum-allocation-mb”可配置单个Container最大内存可用值。不支持实例级别的修改,需要在Yarn服务的配置中修改参数值,并重启Yarn服务。 单击“保存”,单击“确定”。重启NodeManager角色实例。 界面提示“操作成功”,单击“完成”,NodeManager角色实例成功启动。
6700,6701,6702,6703 WORKER_GC_OPTS supervisor启动worker时使用的jvm选项。需要根据业务中对内存等的使用来进行设置,例如是简单业务处理,建议1G,即“-Xmx1G”;如果有窗口缓存,根据窗口大小计算:每条记录大小*周期*2。 -Xms1G