检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
name", "kafka"); kafkaParams.put("kerberos.domain.name", "hadoop.<系统域名>"); LocationStrategy locationStrategy = LocationStrategies.PreferConsistent();
required useKeyTab=true keyTab="./user.keytab" principal="sparkuser@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 使用--files和相对路径提交
name", "kafka"); kafkaParams.put("kerberos.domain.name", "hadoop.<系统域名>"); LocationStrategy locationStrategy = LocationStrategies.PreferConsistent();
spark-beeline在开启Kerberos认证的集群中提交作业的内置用户名为spark，在未开启Kerberos认证的集群中提交作业的内置用户名为omm。 hbase shell在开启Kerberos认证的集群提交作业的内置用户名为hbase，在未开启Kerberos认证的集群中提交作业的内置用户名为omm。
在IoTDBServer节点调测UDF应用 注册UDF 使用UDF进行查询 卸载UDF 父主题： 调测IoTDB应用
“register();”： 将IP、端口及并发度信息注册到Topic节点下。 “deleteTopicNode();”： 删除Topic节点。 “unregister();”： 删除注册信息。 “query(); ”：查询注册信息。 “isExist();”： 查找某个信息是否存在。
useKeyTab=true keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 参数keyTab和principal根据实际情况修改。
您数据迁移和集成的效率。 CDM服务迁移HDFS数据至MRS集群方案如图1所示。 图1 HDFS数据迁移示意 前提条件 已获取OBS的访问域名、端口，以及AK、SK信息。 已经创建包含有Hadoop服务的MRS集群。 拥有EIP配额并创建EIP。 步骤1：创建CDM集群并绑定EIP
setAppName的执行顺序不同导致，yarn-client中setAppName是在向yarn注册Application之前读取，yarn-cluser模式则是在向yarn注册Application之后读取，这就导致yarn-cluster模式设置的应用名不生效。 解决措施：
gaussdb200：com.huawei.gauss200.jdbc.Driver JDBC连接字符串 表示数据库的访问地址，可以是IP地址或者域名。 输入数据库连接字符串（以下以IP为10.10.10.10，样例数据库为“test”为例）： oracle：jdbc:oracle:thin:@10
安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 场景一：准备本地Windows开发环境调测程序所需配置文件。 下载并解压客户端软件包。 MRS 3.3.0之前版本，登录FusionInsight
gaussdb200：com.huawei.gauss200.jdbc.Driver JDBC连接字符串 表示数据库的访问地址，可以是IP地址或者域名。 输入数据库连接字符串（以下以IP为10.10.10.10，样例数据库为“test”为例）： oracle：jdbc:oracle:thin:@10
安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager页面，选择“集群 > 概览
如果安装Hadoop、HetuEngine、Hive、Spark等组件后，再安装Guardian，则需要重新下载客户端，并对管理面作业提交的默认客户端进行刷新。 如果当前集群未启用Kerberos认证，访问OBS的用户，需要属于supergroup组。可登录FusionInsight Manager界面，选择“系统
'key1'='value1', 'key2'='value2') FROM root.sg.d1; 查看所有注册的UDF 在IoTDB客户端中执行下列SQL语句，可以查看所有注册的UDF： SHOW FUNCTIONS 父主题： 在IoTDBServer节点调测UDF应用
al 连接Kafka的principal，输入1创建的用户名。 kafka.sasl_kerberos_realm 配置为Kafka集群的域名。 kafka.sasl_mechanisms 指定连接Kafka使用的SASL认证机制，参数值为GSSAPI。 kafka_auth_mode
huaweicloud.com/repository/maven/huaweicloudsdk/），查看网站是否能正常访问。如果访问异常，请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ IDEA开发工具为例，单击“File
短时长为1个月，最长时长为1年。 如需开通自动续费功能，请勾选“自动续费”，开通后按月购买的集群自动续费周期为1个月，按年购买的集群自动续费周期为1年。 - 通信安全授权 MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，详情说明请参考配置MRS集群安全通信授权。
配置Spark动态脱敏 Spark Distinct聚合优化 配置Spark作业失败时清理残留文件 配置Spark加载第三方jar包，用于注册UDF或者扩展SparkSQL 父主题： 使用Spark/Spark2x
getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
