检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0-SNAPSHOT-jar-with-dependencies.jar拷贝到“/opt/presto_examples”下。 开启Kerberos认证集群需要将4获取的user.keytab和krb5.conf拷贝到的/opt/presto_examples/conf下,并修改样例代码中conf目录下的presto
DATABASE CREATE DATABASE dbname [LOCATION "hdfs_path"] 如果指定了HDFS路径hdfs_path,需要是路径hdfs_path的所有者和具有RWX权限。 DROP DATABASE dbname 拥有数据库dbname的所有权。 ALTER
Flink相关样例工程 样例工程 描述 FlinkCheckpointJavaExample 异步Checkpoint机制程序的应用开发示例。 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态,相关业务场景介绍请参见
Flink相关样例工程 样例工程 描述 FlinkCheckpointJavaExample 异步Checkpoint机制程序的应用开发示例。 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态,相关业务场景介绍请参见
} } return properties; } 注意事项 通过Java API访问Oozie需要先参考环境准备章节进行安全认证,并将依赖的配置文件(配置文件Workflow.xml的开发参见配置Oozie业务运行流程)与jar包上传到
Project对话框中选择样例工程文件夹“hdfs-example-normal”,单击“OK”。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图2 Quick Start 在下拉框中选择“Project
} } return properties; } 注意事项 通过Java API访问Oozie需要先参考环境准备章节进行安全认证,并将依赖的配置文件(配置文件Workflow.xml的开发参见workflow.xml)与jar包上传到H
sg.d1.s2)”的结果。 带自定义输入参数的查询 用户可以在进行UDF查询的时候,向UDF传入任意数量的键值对参数。键值对中的键和值都需要被单引号或者双引号引起来。 键值对参数只能在时间序列后传入。 例如: SELECT example(s1, 'key1'='value1'
0-SNAPSHOT-jar-with-dependencies.jar拷贝到“/opt/presto_examples”下。 开启Kerberos认证集群需要将4获取的user.keytab和krb5.conf拷贝到的/opt/presto_examples/conf下,并修改样例代码中conf目录下的presto
对应请求消息头,响应同样也有消息头,如“Content-Type”。 对于管理员创建IAM用户接口,返回如图1所示的消息头,其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。 图1 管理员创建IAM用户响应消息头 响应消息体 该
中请使用https协议。 安全模式下,需要设置spark.ui.customErrorPage=false并重启spark2x服务 (JobHistory2x、JDBCServer2x和SparkResource2x三个实例对应的参数都需要修改)。 升级更新节点环境上的curl版本。具体curl版本升级方法如下:
将securityConfig拼接的字符串中user.principal与user.keytab修改为相应的用户名与路径。注意这里keytab的路径需要使用“/”。 将加载数据的sql语句改为“LOAD DATA INPATH 'hdfs:/data/data' INTO TABLE CHILD”。
format=org.apache.hudi.hadoop.hive.HoodieCombineHiveInputFormat; // sparksql 不需要指定 set hoodie.${table_name}.consume.mode=INCREMENTAL; set hoodie.${table_name}
format=org.apache.hudi.hadoop.hive.HoodieCombineHiveInputFormat; // sparksql 不需要指定 set hoodie.${table_name}.consume.mode=INCREMENTAL; set hoodie.${table_name}
<locatorid2>,<locatorid3> 其中<groupid>为创建的group名称,该示例语句创建的group包含三个locator,用户可以根据需要定义locator的数量。 关于hdfs创建groupid,以及HDFS Colocation的详细介绍请参考hdfs的相关说明,这里不做赘述。
Users/Groups/Roles > Roles > Add New Role”。 根据界面提示填写Role的名称与描述信息。 添加Role内需要包含的用户、用户组、子Role信息。 在“Users”区域,选择系统中已创建的用户,然后单击“Add Users”。 在“Groups”区
female,50 GuoYijun,male,50 CaiXuyu,female,50 FangBo,female,60 数据规划 首先需要把原日志文件放置在HDFS系统里。 本地新建两个文本文件,将log1.txt中的内容复制保存到input_data1.txt,将log2.
提交到常驻Flink集群上的一个示例如下: bin/flink run examples/streaming/WindowJoin.jar 用户在用该命令提交任务前需要先用yarn-session启动Flink集群。 以单机模式运行作业的一个示例如下: bin/flink run -m yarn-cluster
); principal = clientInfo.getProperty("principal"); 在安全模式下,需要Kerberos用户以及keytab文件路径等信息进行登录认证。 // 设置新建用户的userName,其中"xxx"指代之前创建
); principal = clientInfo.getProperty("principal"); 在安全模式下,需要Kerberos用户以及keytab文件路径等信息进行登录认证。 // 设置新建用户的userName,其中"xxx"指代之前创建