检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 job 配置当前策略适用的job名,可以填写多个值。这里支持通配符,例如:test、test*、*。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。 Description
'rowkey','cf1' 开发思路 创建RDD。 以数据源的方式操作HBase,将上面生成的RDD写入HBase表中。 读取HBase表中的数据,并且对其进行简单的操作。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user
登录MRS Manager,选择“服务管理 > Kafka > 实例”,获取Kafka的broker实例的“管理IP”地址。 父主题: Kafka接口介绍
case CMD: { cmdSubmit(builder, null); break; } case REMOTE:
Token认证机制工具使用说明为用户生成Token。 二次开发样例工程配置。 在二次开发样例的Producer()和Consumer()中对其进行配置。配置的样例代码可参考使用Kafka Token认证。 运行样例代码。 在Windows环境调测程序请参考在Windows中调测程序。
<appender-ref ref="TEST"/> </logger> 重新启动yarn-session.sh,提交任务。 自定义日志若指定了路径<file>/path/test.log</file>,需确保任务运行所使用的用户(flink-conf.yaml配置用户)有权限对该目录进行读写操作。
<appender-ref ref="TEST"/> </logger> 重新启动yarn-session.sh,提交任务。 自定义日志若指定了路径<file>/path/test.log</file>,需确保任务运行所使用的用户(flink-conf.yaml配置用户)有权限对该目录进行读写操作。
址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已安装客户端时编译并运行程序
本示例需创建两个Topic,可参考7,分别命名为“test_2”和“test_3”,并创建“move-kafka-topic.json”文件,创建路径如“/opt/client/Kafka/kafka”,Topic格式内容如下: { "topics": [{"topic":"test_2"},{"topic":"test_3"}]
'ExampleAvrotable') 开发思路 创建RDD。 以数据源的方式操作HBase,将上面生成的RDD写入HBase表中。 读取HBase表中的数据,并且对其进行简单的操作。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user
n的UDF函数。 下面以编写一个AddDoublesUDF为例,说明UDF的编写和使用方法。 功能介绍 AddDoublesUDF主要用来对两个及多个浮点数进行相加,在该样例中可以掌握如何编写和使用UDF。 一个普通UDF必须继承自“org.apache.hadoop.hive.ql
d1.s2)”的结果。 带自定义参数输入的查询。 您可以在进行UDF查询的时候,向UDF传入任意数量的键值对参数。键值对中的键和值都需要被单引号或者双引号引起来。注意,键值对参数只能在所有时间序列后传入。例如: SELECT example(s1, 'key1'='value1'
ALM-45329 Presto Coordinator资源组排队任务超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标,当检测到资源组排队数大于阈值时产生该告警。 告警属性 告警ID 告警级别 可自动清除
读请求占大多数,因此从NameNode支持读可以降低主NameNode的负载,提高集群处理能力。 本章节适用于MRS 3.x及后续版本。 对系统的影响 配置从NameNode支持读可以降低主NameNode的负载,提高HDFS集群的处理能力,尤其是在大集群下效果明显。 配置从Na
<appender-ref ref="TEST"/> </logger> 重新启动yarn-session.sh,提交任务。 自定义日志若指定了路径<file>/path/test.log</file>,需确保任务运行所使用的用户(flink-conf.yaml配置用户)有权限对该目录进行读写操作。
mrs-test 集群类型 根据业务需要选择合适的MRS集群类型。 分析集群:用于离线数据分析场景,对海量数据进分析处理,形成结果数据,主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。 流式集群:用于流式数据处理任务,对实时数
le”。使用“huser1”创建一个数据库“hdb”,并在此数据库中创建表“htable”。 操作步骤 表授权 用户在Hive和HDFS中对自己创建的表拥有完整权限,用户访问别人创建的表,需要授予权限。授予权限时只需要授予Hive元数据权限,HDFS文件权限将自动关联。以授予用户
根据当前CSS服务中的Elasticsearch版本在Past Releases下载对应的Jar包。 例如:Elasticsearch 7.6.2对应的Jar包为“elasticsearch-hadoop-7.6.2.jar”。 Jar包版本需与CSS服务的Elasticsearch版本
o-hdfs.xml <root> <!-- 连接数据库的信息 --> <sqoop.connection name="vt_sftp_test" type="sftp-connector"> <connection.sftpServerIp>10.96.26.111</connection
Kudu应用开发常见问题 Kudu Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址: https://kudu.apache.org/apidocs。 父主题: Kudu开发指南(安全模式)