检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PgSQL数据库需要开启前置要求,操作步骤请参考PostgreSQL数据库修改预写日志的策略。 在FusionInsight Manager中创建一个人机用户,例如“cdluser”,加入用户组cdladmin、hadoop、kafka、supergroup,主组选择“cdladmin”组
集群已安装CDL、Hudi服务且运行正常。 DWS数据库需要开启前置要求,操作步骤请参考DWS数据库前置准备。 在FusionInsight Manager中创建一个人机用户,例如“cdluser”,加入用户组cdladmin、hadoop、kafka、supergroup,主组选择“cdladmin”组
ifNotExists 设置为true,当表存在时不会报错。 comment 备注 columns 列描述,包括列名,类型和可选备注。 partitionedBy 分区列描述,用于划分表格。参数columns列出了列名,类型和可选备注。 clusteredBy 分桶列描述,参数包括columnN
_HetuEngine_ClientConfig\HetuEngine\xxx\”路径下解压获取“hetu-jdbc-*.jar”文件。 备注:xxx为“arm”或“x86”。 在本地hosts文件添加主机映射。 根据使用HSFabric方式或HSBroker方式添加对应实例所在主机映射,格式为:主机IP
tc/hadoop/mapred-site.xml。 表1 多CPU内核设置 配置 描述 参数 默认值 Server/Client 影响 备注 节点容器槽位数 如下配置组合决定了每节点任务(map、reduce)的并发数。 “yarn.nodemanager.resource.memory-mb”
控制功能,请选择适当的时间进行补丁安装。 慢盘隔离特性约束: 隔离慢盘之前无法判断集群节点是否存在客户私有化数据,因此不要在节点数据盘存放个人私有化数据,避免慢盘隔离时对业务造成影响; 自动触发慢盘隔离动作后,对于原来写两副本数据存在单副本运行的场景,存在一定风险,请知;同时华为侧运维人员会尽快对慢盘进行替换。
可访问华为云的所有服务,包括MRS服务。 打开华为云网站。 单击“注册”,根据提示信息完成注册。 注册成功后,系统会自动跳转至您的个人信息界面。 个人或企业账号实名认证请参考:实名认证。 MRS服务授权操作 使用具有IAM委托操作权限的用户登录管理控制台。 在服务列表中选择“大数据
HetuEngine物化视图SQL示例 物化视图SQL示例请参考表1。 表1 物化视图的操作 操作 功能 物化视图SQL样例 备注 创建物化视图 (创建物化视图时,只创建了物化视图的定义,数据填充需要使用refresh materialized view name刷新物化视图数据)
JobManager & TaskManager 表1 JobManager & TaskManager参数说明 参数 描述 默认值 是否必选 备注 taskmanager.memory.size TaskManager在JVM堆内存中保留空间的大小,此内存用于排序,哈希表和中间状态的
1为示例,具体以实际环境的版本号为准。 表1 常用Command描述 COMMAND 描述 resourcemanager 运行一个ResourceManager。 备注:以omm用户执行服务端命令前需export环境变量(客户端需要有omm用户的执行权限),例如: export YARN_CONF_DIR
1为示例,具体以实际环境的版本号为准。 表1 常用Command描述 COMMAND 描述 resourcemanager 运行一个ResourceManager。 备注:以omm用户执行服务端命令前需export环境变量(客户端需要有omm用户的执行权限),例如: export YARN_CONF_DIR
2为示例,具体以实际环境的版本号为准。 表1 常用Command描述 COMMAND 描述 resourcemanager 运行一个ResourceManager。 备注:以omm用户执行服务端命令前需export环境变量(客户端需要有omm用户的执行权限),例如: export YARN_CONF_DIR
2为示例,具体以实际环境的版本号为准。 表1 常用Command描述 COMMAND 描述 resourcemanager 运行一个ResourceManager。 备注:以omm用户执行服务端命令前需export环境变量(客户端需要有omm用户的执行权限),例如: export YARN_CONF_DIR
DataStream样例程序。 假定用户有某个网站周末网民网购停留时间的日志文本,另有一张网民个人信息的csv格式表,可通过Flink应用程序实现例如实时统计总计网购时间超过2个小时的女性网民信息,包含对应的个人详细信息的功能。 FlinkStreamScalaExample FlinkStreamSqlJoinExample
DataStream样例程序。 假定用户有某个网站周末网民网购停留时间的日志文本,另有一张网民个人信息的csv格式表,可通过Flink应用程序实现例如实时统计总计网购时间超过2个小时的女性网民信息,包含对应的个人详细信息的功能。 FlinkStreamScalaExample FlinkStreamSqlJoinExample
在本地已获取某图书网站后台图书点评记录的原始数据文件“book_score.txt”,例如内容如下。 字段信息依次为:用户ID、图书ID、图书评分、备注信息。 例如部分数据节选如下: 202001,242,3,Good! 202002,302,3,Test. 202003,377,1,Bad
DataStream样例程序。 假定用户有某个网站周末网民网购停留时间的日志文本,另有一张网民个人信息的csv格式表,可通过Flink应用程序实现例如实时统计总计网购时间超过2个小时的女性网民信息,包含对应的个人详细信息的功能。 FlinkStreamScalaExample FlinkStreamSqlJoinExample
DataStream样例程序。 假定用户有某个网站周末网民网购停留时间的日志文本,另有一张网民个人信息的csv格式表,可通过Flink应用程序实现例如实时统计总计网购时间超过2个小时的女性网民信息,包含对应的个人详细信息的功能。 FlinkStreamScalaExample FlinkStreamSqlJoinExample
oenix.apache.org。其对应关系如表1所示: 表1 MRS与Phoenix版本对应关系一览表 MRS版本 Phoenix版本 备注 MRS 1.9.2 x.xx.x-HBase-1.3 例如,4.14.1-HBase-1.3 配置方式 MRS 3.x之前的版本需要去官
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤: 下载样例工程的Maven工程源码和配置文件,请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库,请参见配置华为开源镜像仓。 根据用户自身需求,构建完整的Maven工程并进行编译开发。