检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当字段的值与实际的类型不匹配时,该行数据会成为脏数据。 样例 以HBase导出到sqlserver2014数据库为例。 在sqlserver2014上创建一张空表test_1用于存储HBase数据。执行以下语句: create table test_1 (id int, name text, value
HBase中的表具有如下特点: 大:一个表可以有上亿行,上百万列。 面向列:面向列(族)的存储和权限控制,列(族)独立检索。 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。 HBase接口类型介绍 由于HBase本身是由java语言开发出来的,且j
图3 异常日志信息 认证失败导致创建KafkaChannel失败,导致通过channel(key)方法获取的KafkaChannel为空,以至于疯狂打印NullPointerException,上述日志可以发现,认证失败的原因是用户密码不正确,密码不正确的原因可能是用户名不匹配导致。
添加OBS日志级别 Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”,创建一个空角色的用户组,例如“obs_hadoop”。 选择“系统 > 权限 > 用户 > 添加用户”,创建一个只关联用户组“obs_hadoop”的用户,例如“hadoopuser”。
解决Hudi的.schema目录下文件找不到的问题。 解决Hudi clean触发时偶现文件mv to trash失败,导致.clean为空,影响Flink流读作业的问题。 Hudi支持changelog特性。 Hudi支持temp view特性。 MRS实时任务告警通知支持显示具体作业名称。
WebUI,请参考访问FlinkServer WebUI界面。 单击“作业管理”进入作业管理页面。 查看作业健康度 在作业管理页面查看当前作业的健康状态: 空:作业未运行,无健康状态 绿色图标:健康 黄色图标:亚健康 红色图标:不健康 导出所有作业健康报告 单击“作业健康报告”,系统会自动将所有作
参数值说明 参数取值参考 ldap_servers.ldap_server_name.host OpenLDAP服务器主机名或IP,不能为空。 localhost ldap_servers.ldap_server_name.port OpenLDAP服务器端口。 如果enable
标签共由两部分组成:“标签键”和“标签值”,其中,“标签键”和“标签值”的命名规则如表1所示。 表1 标签命名规则 参数 规则 样例 标签键 不能为空。 对于同一个集群,Key值唯一。 长度不超过128个字符。 不能包含“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/”,且首尾字符不能为空格。
执行cat ENV_VARS | grep JAVA_HOME命令。 检查JAVA_HOME目录是否存在,若步骤4执行结果返回不为空,且ll $JAVA_HOME/不为空,则JAVA_HOME目录存在。 是,执行7。 否,执行6。 指定正确的JAVA_HOME目录,如export JAVA
是,操作结束。 否,执行5。 若part数量仍然未减少,则检查表的分区键是否设置不合理,分区数量太多,若不合理,需要整改业务。 返回内容为空,则说明该表已经不存在,此告警为历史告警,可忽略,手动清除即可。 收集故障信息 在FusionInsight Manager界面,选择“运维
参数名 参数说明 参数取值参考 ldap_servers.ldap_server_name.host OpenLDAP服务器主机名或IP,不能为空。 localhost ldap_servers.ldap_server_name.port OpenLDAP服务器端口。 如果enable
左填充二进制以使用padbinary调整字节大小。如果size小于二进制文件的长度,则结果将被截断为size个字符。size不能为负,并且padbinary不能为空。 select lpad(x'15245F', 11,x'15487F') ; -- 15 48 7f 15 48 7f 15 48 15
ed_by 不支持使用alter table修改column 描述 创建包含SELECT查询结果的新表。 使用CREATE TABLE创建空表。 使用IF NOT EXISTS子句时,如果表已经存在则不会报错。 可选WITH子句可用于设置新创建的表的属性,如表的存储位置(loca
执行:q退出spark-shell命令行。 Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_hudi”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL
为: hadoop fs -du -s -h ${test.warehouse.dir}/a 进行广播操作,对表有要求: 至少有一个表不是空表; 表不能是“external table”; 表的储存方式需为textfile(默认是textfile文件格式),如 create table
限。 Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_flink”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL
避免出现安全隐患,不推荐设置为该值。 3des dfs.encrypt.data.transfer.cipher.suites 可以设置为空或“AES/CTR/NoPadding”,用于指定数据加密的密码套件。如果不指定此参数,则使用“dfs.encrypt.data.transfer
Hive暂不支持跨集群的列加密表功能。 Hive WebHCat暂不支持对接LakeFormation。 Hive创建内表时如果表目录不为空,则禁止创建表。 Hudi表创建前,需要先在LakeFormation上添加Hudi表目录的路径授权,赋予OBS读写权限。 Hudi表不支持
理这些文件,需要手动清理。 导出命令的超时时间同查询的超时时间,可以通过SET query_timeout=xxx进行设置。 对于结果集为空的查询,依然会产生一个大小为0的文件。 文件切分会保证一行数据完整的存储在单一文件中,因此文件的大小并不严格等max_file_size。
-- false SELECT 3 < 2 OR 3 > 6; -- false IS NULL和IS NOT NULL 用于判断值是否为空,所有数据类型都可以用于此判断。 SELECT 3.0 IS NULL; -- false IS DISTINCT FROM和IS NOT DISTINCT