检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据业务需要修改以下参数,并单击“确定”保存: “重复”:勾选时表示此资源配置组按调度周期重复运行。不勾选时请设置一个资源配置组应用的日期与时间。 “重复策略”:支持“每天”、“每周”和“每月”。仅在“重复”模式中生效。 “在”:表示资源配置组应用的开始与结束时间。请设置一个
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件(user.keytab、krb5.conf)。user
SL_PLAINTEXT),9092匹配普通模式(PLAINTEXT)。 pollTimeout 500 consumer调用poll()函数能接受的最大超时时间,单位:毫秒。 ignoreLongMessage false 是否丢弃超大消息。 messageMaxLength 1000012
MRS 1.5.1.4补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.5.1.4 发布时间 2018-08-23 解决的问题 Spark组件问题: 当carbon表元数据文件较大时导致的查询慢问题。 修复carbon在某些场景下,对数据进行压缩时,出现转换为SHORT_INT失败的问题。
Ranger的权限模型由多条权限策略组成,权限策略主要由以下几方面组成: 资源 组件所提供的可由用户访问的对象,例如HDFS的文件或文件夹、Yarn中的队列、Hive中的数据库/表/列等。 用户 系统的访问者,每个用户的权限由该用户关联的策略来获得。LDAP中的用户、用户组、角色信息会周期性的同步至Ranger。
hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令: hetu-cli --catalog hetuengine_1 --schema default 执行以下命令,可正常查看数据库表信息或不报错即表示连接成功。 show tables; 跨集群HetuEngine数据类型映射
create database. | com.huawei.bigdata.doris.example.JDBCExample.main(JDBCExample.java:44) 2023-08-17 23:13:13,949 | INFO | main | Database created
conf", hbConf); //spout为随机单词spout WordSpout spout = new WordSpout(); WordCounter bolt = new WordCounter();
在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse > Clickhouse Scope”,勾选对应数据库的创建权限。单击对应的数据库名称,根据不同任务场景,勾选对应表的“读”、“写”权限,单击“确定”保存。 单击“系统 > 权限 > 用户组 > 添加用户组
omm命令来查看当前omm用户密码设置信息。 查找“Account expires”对应值,查看用户设置是否即将过期。 如果参数值为“never”,则代表永不过期;如果为日期值,则查看是否在15天内过期。 是,执行3。 否,执行4。 执行chage -E 'yyyy-MM-dd' omm命令设置omm用户过期的
omm命令来查看当前omm用户密码设置信息。 查找“Password expires”对应值,查看密码设置是否即将过期。 如果参数值为“never”,则代表永不过期;如果为日期值,则查看是否在15天内过期。 是,执行3。 否,执行4。 执行chage -M '天数' omm命令设置omm密码的有效天数,等待8小时,观察告警是否自动清除。
insertRecord(); insertTablet(); insertTablets(); insertRecords(); nonQuery(); query(); queryWithTimeout(); rawDataQuery();
密码设置信息。 查找“Password expires”对应值,查看密码设置是否过期。 如果参数值为“never”,则代表永不过期;如果为日期值,则查看是否已经过期。 是,执行3。 否,执行4。 执行chage -M '天数' ommdba命令设置ommdba密码的有效天数,等待8小时,观察告警是否自动清除。
MapReduce应用开发常用概念 Hadoop shell命令 Hadoop基本shell命令,包括提交MapReduce作业,kill MapReduce作业,进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat,OutputFormat) M
let的request/response信息 jetty.out Oozie进程启动日志 oozie_db_temp.log Oozie数据库连接日志 oozie-instrumentation.log Oozie仪表盘日志,主要记录Oozie运行状态,各组件的配置信息 oozie-jpa
let的request/response信息 jetty.out Oozie进程启动日志 oozie_db_temp.log Oozie数据库连接日志 oozie-instrumentation.log Oozie仪表盘日志,主要记录Oozie运行状态,各组件的配置信息 oozie-jpa
创建FlinkServer流表源 通过数据表,定义源表、维表、输出表的基本属性和字段信息。 新建FlinkServer流表步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“流表管理”进入流表管理页面。 单击“新建流表”,在新建流表页面参考
配置FlinkServer UDF安全沙箱 本章节适用于MRS 3.3.1及以后版本。 用户可以根据作业需要,通过Flink Web UI界面上传UDF、依赖等第三方Jar包,并在SQL作业校验、运行作业时调用相关依赖。为了确保上传的Jar是安全的,Flink默认开启了沙箱功能,
创建内部表时指定location,则创建失败。 开启本功能之后,创建Hive内部表不能执行location。因为对建表语句做了限制,如果数据库中已存在建表时指向非当前默认warehouse目录的表,在执行建库、表脚本迁移、重建元数据操作时需要特别注意,防止错误。 操作步骤 进入Hive服务配置页面:
create database. | com.huawei.bigdata.doris.example.JDBCExample.main(JDBCExample.java:44) 2023-08-17 23:13:13,949 | INFO | main | Database created