检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持提交运行、共享、复制和导出已创建的应用。 每个Workflow可以包含一个或多个作业,形成完整的工作流,用于实现指定的业务。 创建Workflow时,可直接在Hue的编辑器设计作业,并添加到Workflow中。
获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。
数据去重的key需要提前在应用中进行sharding计算,保证相同的key会sharding到同一个shard,才能保证后续相同的key字段数据sharding到同一个shard进行数据的精确去重。 父主题: ClickHouse常用SQL语法
华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
请充分考虑实际应用场景,再决定是否做出调整。 操作步骤 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。
常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。 NONE BLOCKSIZE 配置HFile中block块的大小,不同的block块大小,可以影响HBase读写数据的效率。
具体操作步骤如下: 执行此命令收集各节点磁盘空间存储情况: select * from system.disks; free_space列表示磁盘空闲空间,total_space列表示磁盘总空间,total_space-free_space大小即为磁盘已使用空间,获取的值均以字节为单位
Manager和组件WebUI服务不可用,无法对Web上层应用正常提供集群管理功能,可能引起无法登录Manager和组件的WebUI。 可能原因 Tomcat目录权限异常,Tomcat进程异常。 处理步骤 检查Tomcat目录权限是否正常。
无法获取包含genericUDF执行计划的json格式。 Insert overwrite table a select * from a, metastore故障后,数据丢失。
操作步骤 任务的并行度可以通过以下四种层次(按优先级从高到低排列)指定,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。
如果无法等待更长时间,需要重启HDFS客户端所在的应用程序进程,使得HDFS客户端重新连接空闲的NameNode。 解决措施: 为了避免该问题出现,可以在“客户端安装路径/HDFS/hadoop/etc/hadoop/core-site.xml”中做如下配置。
如果无法等待更长时间,需要重启HDFS客户端所在的应用程序进程,使得HDFS客户端重新连接空闲的NameNode。 解决措施: 为了避免该问题出现,可以在“客户端安装路径/HDFS/hadoop/etc/hadoop/core-site.xml”中做如下配置。
CDL业务用户权限配置 集群已启用Kerberos认证(安全模式)若需在对接OBS成功后,使用CDL实现实时数据入湖选择存储到OBS时,则需参考以下操作为对应用户赋予相应OBS路径的“Read”和“Write”权限。
单击Role Name为admin的角色,在“Users”区域,单击“Select User”,选择对应用户名。 单击Add Users按钮,在对应用户名所在行勾选“Is Role Admin”,单击“Save”保存配置。
对系统的影响 元数据恢复前,需要停止Flink服务,在这期间所有上层应用都会受到影响,无法正常工作。 元数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后,需要重新启动Flink的上层应用。 前提条件 检查Flink元数据备份文件保存路径。
请根据具体应用场景决定是否开启该参数。 false dfs.namenode.safemode.threshold-pct 满足“dfs.namenode.replication.min”定义的最小复制需求的块的比例。取值范围:0~1.0。
业务应用只需对指定的敏感数据进行加密,加解密过程业务完全不感知。在文件系统数据加密基础上,Hive服务支持列加密(参见使用Hive列加密功能),可以在创建表时指定加密算法实现对敏感数据的加密存储。
操作步骤 任务的并行度可以通过以下四种层次(按优先级从高到低排列)指定,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。
应用开发时,使用ALTER TABLE ADD PARTITION语句增加分区,以及使用LOAD DATA INTO PARTITON语句将数据加载到分区时,只能静态分区。 动态分区:通过查询命令,将结果插入到某个表的分区时,可以使用动态分区。
无法对acs上层应用提供安全认证和用户管理功能,可能引起无法登录Manager和组件的WebUI。 可能原因 ACS进程异常。 处理步骤 检查ACS进程是否异常。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。