检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
版本为47.3.1。 具体软件，请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptools压缩文件复制到客户端机器上，解压后进入解压目录，在客户端机器的命令行终端执行python3 setup.py
Storm支持拓扑在未安装Storm客户端的Linux环境中运行。 前提条件 客户端机器的时间与MRS集群的时间要保持一致，时间差要小于5分钟。 当Linux环境所在主机不是集群中的节点时，需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 准备依赖的Jar包和配置文件。
该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。 在虚拟私
Jar作业提交SQL样例程序开发思路 场景说明 当作业的SQL语句修改频繁时，可使用Flink Jar的方式提交Flink SQL语句，以减少用户工作量。 本场景适用于MRS 3.2.1及以后版本。 开发思路 使用当前样例提交并执行指定的SQL语句，多个语句之间使用分号分隔。 父主题：
---"); statementSet.execute(); } } 需将当前样例需要的依赖包，即编译之后lib文件下面的jar包复制到客户端的lib文件夹内。 以对接普通模式Kafka提交SQL为例： create table kafka_sink (
GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理，该类中listIndices用于查询索引信息，可以获取当前用户表所有相关索引的定义及索引状态。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“GlobalSecond
为了运行MRS产品Hive组件的JDBC接口样例代码，需要完成下面的操作。 本章节以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“hive-jdbc-example”。
为了运行MRS产品Hive组件的HCatalog接口样例代码，需要完成下面的操作。 本章节以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“hcatalog-example”。
HoodieDeltaStreamer 编写自定义的转化类实现Transformer。 编写自定义的Schema实现SchemaProvider。 在执行HoodieDeltaStreamer时加入参数： --schemaprovider-class 定义的schema类 --transformer-class
问题原因： 在IBM JDK下建立的Hive connection时间超过登录用户的认证超时时间（默认一天），导致认证失败。 IBM JDK的机制跟Oracle JDK的机制不同，IBM JDK在认证登录后的使用过程中做了时间检查却没有检测外部的时间更新，导致即使显式调用Hive
为了运行MRS产品Hive组件的SpringBoot接口样例代码，需要完成下面的操作。 该章节以在Windows环境下开发SpringBoot方式连接Hive服务的应用程序为例。 该章节内容适用于MRS 3.3.0及之后版本。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解
Properties，其中Host为运行的NodeManager节点IP，Port端口号为8000，然后单击“Debug”。 若使用IDE直接提交MapReduce任务，则IDE即成为客户端的角色，参考1修改二次开发工程中的“mapred-site.xml”即可。 父主题： MapReduce应用开发常见问题
无 分割后的字段 配置分隔后的字段，可为多个： 位置：分隔后字段的位置。 输出字段名：分隔后的字段名。 map 是 无 数据处理规则 将输入字段的值按指定的分隔符分隔后，依次赋给配置的新字段。 配置分割后字段列数，大于原始数据实际可分割出来的字段列数，当前行成为脏数据。 样例 通
分利用，任务的并发度达到最大。可以通过调整处理的数据量大小，以及调整map和reduce个数来实现。 reduce个数的控制使用“mapreduce.job.reduces”。 map个数取决于使用了哪种InputFormat，以及待处理的数据文件是否可分割。默认的TextFil
长小于等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 可自动清除 12043 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 使用Kerberos进行的二次认证较慢。
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 无法使用Hue原生界面，用户无法通过Hue页面对MRS大数据组件进行交互分析和数据处理。 可能原因 Hue服务所依赖内部服务KrbServer故障。
无 分割后的字段 配置分隔后的字段，可为多个： 位置：分隔后字段的位置。 输出字段名：分隔后的字段名。 map 是 无 数据处理规则 将输入字段的值按指定的分隔符分隔后，依次赋给配置的新字段。 配置分割后字段列数，大于原始数据实际可分割出来的字段列数，当前行成为脏数据。 样例 通
事务大小：即当前channel支持事务处理的事件个数，建议和Source的batchSize设置为同样大小，不能小于batchSize。 61200 hostname 要发送数据的主机名或者IP，此参数不能为空。须配置为与之相连的avro source所在的主机名或IP。 192.168.108
Manager管理界面，修改JDBCServer的参数“spark.authenticate.enableSaslEncryption”值为“false”，并重启对应的实例。 客户端作业： 客户端应用在提交应用的时候，修改spark-defaults.conf配置文件的“spark.authenticate
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 任务名 任务名称。 对系统的影响 周期备份任务失败，会导致在备份失败的时间段内没有可用的备份包。在系统出现异常需要使用备份包恢复数据时，没有失败时间段的备份包，导致失败时间段数据无法恢复。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
