检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
聚合日志失败页面 回答 原因:弹出的URL地址(如https://<hostname>:20026/Spark2x/JobHistory2x/xx/history/application_xxx/jobs/),其中的<hostname>没有在Windows系统的hosts文件中添加域名信息
典型场景说明 本样例中Job每秒生成1条数据,将数据写入到Hudi表中,再读取并打印Hudi表中的数据。 开发思路 写Hudi: 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream<RowData>。 将数据写入到Hudi表中。
可以通过主机名称或主机IP对列表进行过滤,也可以单击“批量搜索主机IP”,并在弹出的搜索框中输入多个主机IP,进行批量搜索。 当列表中没有所需主机时,单击“安装ICAgent”,在弹出的页面安装指引完成主机安装。 创建日志组。
配置HBase本地二级索引提升查询效率 HBase本地二级索引介绍 批量加载HBase数据并生成本地二级索引 使用TableIndexer工具生成HBase本地二级索引 父主题: HBase企业级能力增强
数据源集群域名与HetuEngine集群域名不能相同,HetuEngine也不支持同时对接两个相同域名的数据源(Hive,Hbase,Hudi数据源)。 数据源集群与HetuEngine集群节点业务平面网络互通。 父主题: 使用HetuEngine
在python3-examples/pyCLI_sec.py中,修改“hadoop.hadoop.com”修改为hadoop.实际域名。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。
配置HBase本地二级索引提升查询效率 HBase本地二级索引介绍 批量加载HBase数据并生成本地二级索引 使用TableIndexer工具生成HBase本地二级索引 迁移HBase索引数据 父主题: HBase企业级能力增强
principal修改为自己创建的用户名及集群域名。 开发思路 接收Kafka中数据,生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果,并进行打印。 父主题: Structured Streaming程序
properties.sasl.kerberos.service.name' = 'kafka', 'properties.security.protocol' = 'SASL_PLAINTEXT', 'properties.kerberos.domain.name' = 'hadoop.系统域名
以下以用户user为例: 参见“批量导入数据”章节举例,以下是一些差异点。
典型场景说明 本样例中Job每秒生成1条数据,将数据写入到Hudi表中,再读取并打印Hudi表中的数据。 开发思路 写Hudi: 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream<RowData>。 将数据写入到Hudi表中。
Spark提供一站式数据分析能力,包括小批量流式处理、离线批处理、SQL查询、数据挖掘等,用户可以在同一个应用中无缝结合使用这些能力。Spark2x的开源新特性请参考Spark2x开源新特性说明。
操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。
操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。
系统域名:登录FusionInsight Manager后,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件(user.keytab、krb5.conf)。
系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_XXX/install/FusionInsight-Spark2x-2.4.5/keytab/spark2x/SparkResource/spark2x.keytab
使用客户端根目录中的“ca.crt”证书文件生成客户端的“truststore”。
krbhost:参数值为“hadoop.实际域名”,实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 执行SQL语句,样例代码中仅执行查询所有表功能,可根据实际情况修改HQL内容。