检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
PgSQL数据连接配置参数 参数名称 示例 Link Type pgsql Name pgsqllink Host 10.10.10.10 Port 5432 DB Name testDB User user Password user用户密码 Description - 表2 Kafka数据连接配置参数
确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
将上述文件上传到此“/home/data”目录下。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
可以在Job的Overview选项卡后面查看BackPressure，如下图表示采样进行中，默认情况下，大约需要5秒完成采样。 图1 采样进行中 如下图显示“OK”表示没有反压，“HIGH”表示对应SubTask被反压。 图2 无反压状态 图3 反压状态 使用Hive SQL时如果Flink语法不兼容则可切换Hive方言
zookeeperuser。 直接执行Zookeeper组件的客户端命令。 zkCli.sh -server <zookeeper安装节点ip>:<port> 例如：zkCli.sh -server node-master1DGhZ:2181 运行Zookeeper客户端命令。 创建ZNode。
将上述文件上传到此“/home/data”目录下。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
PgSQL数据连接配置参数 参数名称 示例 Link Type pgsql Name pgsqllink Host 10.10.10.10 Port 5432 DB Name testDB User user Password user用户密码 Description - 表2 Kafka数据连接配置参数
列族是预定义的列集合，存储在HBase Schema中。如果需要在列族下创建一些列，首先需创建列族。列族将HBase中具有相同性质的数据进行重组，且没有类型的限制。同一列族的每行数据存储在同一个服务器中。每个列族像一个属性，如压缩包、时间戳、数据块缓存等。 MemStore MemStor
化类库的性能比Java序列化类库的性能要高很多。官方介 绍，Kryo序列化机制比Java序列化机制，性能高10倍左右。Spark之所以默认没有使用Kryo作为序列化类库，是因为Kryo要求要注册所有需要进行序列化的自定义类型，因此对于开发者来说，这种方式比较麻烦。 Spark Streaming性能优化建议
-server ip:port 其中ip可以为任意管理IP，port默认值是2181。 当看到如下输出信息时，表示已经成功连接上Zookeeper服务器。 WatchedEvent state:SyncConnected type:None path:null [zk: ip:port(CONNECIED)
bigdata_env 运行此样例代码需要设置运行用户，设置运行用户有两种方式，添加环境变量HADOOP_USER_NAME或者修改代码设置运行用户。若在没有修改代码的场景下，执行以下语句添加环境变量： export HADOOP_USER_NAME=test 用户可向管理员咨询运行用户。tes
属性的值保持一致。 执行流程文件 命令： oozie job -oozie https://oozie server hostname:port/oozie -config job.properties文件所在路径 -run 参数列表： 表2 参数列表 参数 含义 job 表示执行的是job任务
表1 DWS数据连接配置参数 参数名称 示例 Link Type dws Name dwstest Host 10.10.10.10 Port 8000 DB Name dwsdb User dbuser Password dbuser用户密码 Description - 表2
安装集群进度包括： Verifying cluster parameters：校验集群参数中 Applying for cluster resources：申请集群资源中 Creating VM：创建虚拟机中 Initializing VM：初始化虚拟机中 Installing MRS Manager：安装MRS
security.credentials.hbase.enabled”设置为“true”（该参数值默认为“false”，改为“true”后对已有业务没有影响。如果要卸载HBase服务，卸载前请将此参数值改回“false”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。
Array<Array<String>> 参数解释： SQL的执行结果。只有非select的语句才会在content中返回结果，如果SQL中没有结果，content为空。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 状态码： 400 表3 响应Body参数 参数 参数类型
进入ZooKeeper实例页面： MRS3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > ZooKeeper > 实例”。 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 MRS 3
覆盖。 其它命令选项： 表1 其他命令选项 选项 描述 -p[rbugpcaxtq] 当同时使用-update选项时，即使被拷贝文件的内容没有被更新，它的状态信息也会被更新。 r：副本数，b：块大小，u：所属用户，g：所属用户组，p：许可，c：校验和类型，a：访问控制，t：时间戳，q：Quota信息
若同时设置转换为低频访问存储和转换为归档存储，则转换为归档存储的时间要比转换为低频访问存储的时间至少长30天。若单独设置转换为归档存储，则没有时间限制。 31天 文件过期删除天数 指定在对象最后一次更新后多少天，受规则影响的对象将过期并自动被OBS删除。过期时间必须大于前两个转换时间的最大值。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
