检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkSQL HBase数据表开发建议 客户端提交作业时通过with属性添加HBase配置信息 Flink客户端提交作业,如SQL client提交,在建表语句中添加如下配置: 表1 Flink作业with属性 配置 说明 'properties.hbase.rpc.protection'
使用OfflineMetaRepair工具重新构建元数据后HMaster启动失败 HMaster日志中频繁打印出FileNotFoundException信息 ImportTsv工具执行失败报“Permission denied”异常 使用HBase BulkLoad导入数据成功,执行相同的查询时却返回不同的结果
与ZK(ZooKeeper)之间定期交互时长的阈值,导致RM与ZK失联,从而造成RM主备倒换。 在多任务情况下,RM需要保存多个任务的鉴权信息,并通过心跳传递给各个NM(NodeManager),即心跳Response。心跳Response的生命周期短,默认值为1s,一般可以在JVM
string, update_time timestamp); 其中user_group是分区列,需要根据已有数据,按更新时间进行排序,刷新用户组信息。操作步骤如下: 在Hive Beeline命令行执行以下命令开启Hive动态分区: set hive.exec.dynamic.partition=true;
有被更新,它的状态信息也会被更新。 r:副本数,b:块大小,u:所属用户,g:所属用户组,p:许可,c:校验和类型,a:访问控制,t:时间戳,q:Quota信息 -i 拷贝过程中忽略失败。 -log <logdir> 指定日志路径。 -v 指定日志中的额外信息。 -m <num_maps>
{replicationNum} --topic {Topic} 表1 参数说明 参数名 说明 {zkQuorum} ZooKeeper集群信息,格式为IP:port。 {partitionNum} topic的分区数。 {replicationNum} topic中每个partition数据的副本数。
pointCoordinator报告快照制作完成,CheckpointCoordinator认为快照制作失败,如图2所示。 图1 时间监控信息 图2 关系图 回答 Flink引入了第三方软件包RocksDB的缺陷问题导致该现象的发生。建议用户将checkpoint设置为FsStateBackend方式。
与ZK(ZooKeeper)之间定期交互时长的阈值,导致RM与ZK失联,从而造成RM主备倒换。 在多任务情况下,RM需要保存多个任务的鉴权信息,并通过心跳传递给各个NM(NodeManager),即心跳Response。心跳Response的生命周期短,默认值为1s,一般可以在JVM
有多少条记录. SELECT COUNT(*) FROM employees_info; -- 查询使用以“cn”结尾的邮箱的员工信息. SELECT a.name, b.tel_phone FROM employees_info a JOIN employees_contact
的(此处为2.12)的文件替换掉"libpthread-*.so"(注意,这是一个链接文件,执行时只需要替换掉它所指向的文件即可)。 参考信息 无 父主题: Flink应用开发常见问题
的(此处为2.12)的文件替换掉"libpthread-*.so"(注意,这是一个链接文件,执行时只需要替换掉它所指向的文件即可)。 参考信息 无 父主题: Flink应用开发常见问题
如果开发环境使用的是JDK1.8版本,则Flink集群的运行环境必须是JDK1.8,否则,如果运行环境是JDK1.7,则会报JDK版本错误的信息。 安装和配置IDEA 用于开发Flink应用程序的工具。版本要求:14.1.7。 安装Scala Scala开发环境的基本配置。版本要求:2
的(此处为2.12)的文件替换掉"libpthread-*.so"(注意,这是一个链接文件,执行时只需要替换掉它所指向的文件即可)。 参考信息 无 父主题: Flink应用开发常见问题
登录FusionInsight Manager界面,选择“集群 > 服务 > DBService > 实例”,查看DBService主节点IP地址信息。 以root用户登录DBService主节点。 compuserdb用户密码不支持在备DBService节点修改。只需在主管理节点执行修改操作,无需在备管理节点操作。
登录MRS Manager系统。 在浏览器地址栏中输入访问地址,地址格式为“https://MRS Manager系统的WebService浮动IP地址:8080/web”。例如,在IE浏览器地址栏中,输入“https://10.10.10.172:8080/web”。 选择“服务管理 >
hdfs-site.xml 配置HDFS详细参数。 user.keytab 对于Kerberos安全认证提供HDFS用户信息。 krb5.conf Kerberos server配置信息。 不同集群的“user.keytab”、“krb5.conf”不能共用。 “conf”目录下的“log4j
输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。 类型:配置字段类型。 输出字段长度:配置
string, update_time timestamp); 其中user_group是分区列,需要根据已有数据,按更新时间进行排序,刷新用户组信息。操作步骤如下: 在Hive Beeline命令行执行以下命令开启Hive动态分区: set hive.exec.dynamic.partition=true;
的(此处为2.12)的文件替换掉"libpthread-*.so"(注意,这是一个链接文件,执行时只需要替换掉它所指向的文件即可)。 参考信息 无 父主题: Flink应用开发常见问题
>下载认证凭据”,保存后解压得到用户的user.keytab文件与krb5.conf文件,用于在样例工程中进行安全认证,如图4所示。 图4 下载认证凭据 参考信息 如果修改了组件的配置参数,需重新下载客户端配置文件并更新运行调测环境上的客户端。 父主题: 准备HBase应用开发环境