检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
SDK”为“SDKs”中添加的JDK。 单击“Apply”，单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ IDEA选择“File > Settings > Build
修改“Module SDK” 单击“Apply”，单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ IDEA选择“File > Settings > Build
从MySQL官网下载MySQL jdbc驱动程序“mysql-connector-java-xxx.jar”，具体MySQL jdbc驱动程序选择参见下表。 表1 版本信息 jdbc驱动程序版本 MySQL版本 Connector/J 5.1 MySQL 4.1、MySQL 5.0、MySQL 5.1、MySQL
在Ranger管理界面查看不到创建的MRS用户 问题 在MRS Manager界面创建了一个账户，登录到Ranger管理界面后查看不到该用户。 回答 登录到Ranger管理界面的用户权限不够，需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。 在Ranger
x的tgz包也可以去Python官网下载。推荐使用Python-3.6.X版本，3.7版本无法使用rdd的take函数。 执行如下命令，设置Python3.x的配置信息及编译安装，安装到/opt/Bigdata/python3目录下。 ./configure --prefix=/opt/Bigdata/python3
在客户端安装节点下创建文件目录：“/home/data”。将上述文件上传到此“/home/data”目录下。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
）。 确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
会上报事件。 单位：GB。 100 job.monitor.local.thread.pool 获取NodeManager的监控的大作业的信息的线程数。 50 max.job.count 事件中显示大作业的数量。 10 job.monitor.local.dir.threshold
RocksDB中作为一条记录存储，value是整个map，而使用MapState，在RocksDB中作为N条记录存储，这样做的好处是当进行查询或者修改可以只序列化一小部分数据，当将map作为整体存储时每次增删改都会产生很大的序列化开销。对于List数据，使用ListState可以无需序列化动态添加元素。
properties”文件中配置。 byteOffsetHeader false 是否在每一个Event头中携带该Event在源文件中的位置信息，该信息保存在“byteoffset”变量中。 skipToEnd false Flume在重启后是否直接定位到文件最新的位置处，以读取最新的数据。
x及之后版本，查看RegionServer启动失败节点的hbase-omm-*.out日志，发现日志中存在“An error report file with more information is saved as: /tmp/hs_err_pid*.log”，查看/tmp/hs_err_pid*
拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm WebUI查看拓扑DAG图，发现DAG图与拓扑定义一致。 查看KeyWordFilter Bolt输出流字段定义和发送消息字段发现一致。 查看Oracle数据库中表定义，发现字段名为大写，与流定义字段名称不一致。 单
Superior通过REST接口查看已结束或不存在的applicationID，页面提示Error Occurred 问题 Superior通过REST接口查看已结束或不存在的applicationID，返回的页面提示Error Occurred。 回答 用户提交查看application
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
选择验证环境上有数值（int或double类型）列的表，此处选择hive.default.test1，执行如下命令验证Function Plugin。 查询表。 select * from hive.default.test1; select * from hive.default.test1;
properties”文件中配置。 byteOffsetHeader false 是否在每一个Event头中携带该Event在源文件中的位置信息，该信息保存在“byteoffset”变量中。 skipToEnd false Flume在重启后是否直接定位到文件最新的位置处，以读取最新的数据。
修改“Module SDK” 单击“Apply”，单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ IDEA选择“File > Settings > Build
需要处理大量重复数据，影响作业性能。 如A表字段（P1，A1，A2）使用如下方式关联B表字段（P1，B1，B2，B3）生成C的场景中，B表信息发生大量更新，但是B中的所需字段没有更新，在该关联中仅用到了B表的B1和B2字段，对于B表，每个记录更新只更新B3字段，B1和B2不更新，因此当B表更新，可以忽略更新后的数据。
EventThread shut down for session: 0x12000059699f69e1 查看HDFS日志获取应用运行情况 可以查看HDFS的namenode日志了解应用运行情况，并根据日志信息调整应用程序。 父主题： 调测HDFS应用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
