检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
→ varchar 使用URL安全字符,将binary编码为base64字符串表示。 select to_base64url(x'555555'); -- VVVV from_base64url(string) → varbinary 使用URL安全字符,将base64编码的string解码为二进制数据。
已完成Spark2x客户端的安装及客户端网络连接的配置。 对于Spark SQL程序,需要先在客户端启动Spark SQL或Beeline以输入SQL语句。 操作步骤 获取样例工程并将其导入IDEA,导入样例工程依赖jar包。通过IDEA配置并生成jar包。 准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。
订阅的Kafka topic列表,用逗号分隔,此参数不能为空。 test1 kafka.consumer.group.id 从Kafka中获取数据的组标识,此参数不能为空。 flume kafka.bootstrap.servers Kafka的bootstrap地址端口列表,默
jar,请从软件发布包中Software文件夹下“FusionInsight_Spark2x_8.1.0.1.tar.gz”压缩包中的“jars”目录中获取。 用户应用程序的编译依赖包根据代码不同而不同,需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中,
提交HDFS应用程序运行前,在HDFS客户端执行如下命令进行认证。 kinit 组件业务用户 该方式仅适用于Linux操作系统,且安装了HDFS的客户端。 代码认证: 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的PRINCIPAL_NAME变量为实际使用的值。 private static
使用Oozie调度Spark2x访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienormal-examples”
使用Oozie调度Spark访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件 开发环境配置 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples\oozienormal-examples”目录下的样例工程文件夹中
在告警列表中单击该告警,从“告警详情”的“定位信息”中获得HostName(主机名称)和PartitionName(磁盘分区名称)。 在“主机管理”页面,单击2中获取的主机名称。 检查“磁盘”区域中是否包含该告警中的磁盘分区名称。 是,执行5。 否,手动清除该告警,操作结束。 检查“磁盘”区域中包含该告警中的磁盘分区使用率是否达到百分之百。
oldap > 修改配置”,查看“Ldap服务监听端口”参数值获取。 LDAP用户pg_search_dn的密码为系统随机生成,具体可在主节点的“/etc/sssd/sssd.conf”或“/etc/ldap.conf”文件中获取。 修改MRS集群LDAP普通用户密码 MRS 3.1.0版本:
nInsight_Spark2x_8.1.0.1/install/FusionInsight-Spark2x-*/spark/sbin/fake_prestart.sh 将“eval "${hdfsCmd}" -chmod 600 "${InnerHdfsDir}"/ssl.jceks
实际域名。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取Kerberos认证的缓存。 使用准备集群认证用户信息中创建的开发用户执行以下命令运行客户端程序: kinit -kt keytab的存储路径
有“-with-dependencies”字段的Jar包放进该路径下,并在该目录下创建子目录“src/main/resources”,将已获取的“hive-jdbc-example\src\main\resources”目录下的所有文件复制到“resources”下。 执行以下命令运行Jar包:
命令行认证: 提交MapReduce应用程序运行前,在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证: 通过获取客户端的principal和keytab文件在应用程序中进行认证。 MapReduce的安全认证代码 目前使用统一调用LoginUtil类进行安全认证。
筛选女性网民上网时间数据信息。 按照姓名、性别进行keyby操作,并汇总在一个时间窗口内每个女性上网时间。 筛选上网时间超过阈值的用户,并获取结果。 父主题: DataStream程序
实际域名。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。 使用准备MRS应用开发用户章节中创建的开发用户执行以下命令运行客户端程序: kinit -kt keytab的存储路径
有“-with-dependencies”字段的Jar包放进该路径下,并在该目录下创建子目录“src/main/resources”,将已获取的“hive-jdbc-example\src\main\resources”目录下的所有文件复制到“resources”下。 执行以下命令运行Jar包:
为0.33,按照传统的计算方式,10/100=0.1,远小于该阈值。这就造成这10个节点永远无法得到释放,Map&Reduce任务一直无法获取节点,应用程序无法正常运行。实际需要根据与Map&Reduce任务的有效节点关联的节点总数进行计算,即10/10=1,大于黑名单节点释放阈值,节点被释放。
态调整会话时长。 所有超时时长的值请设置为统一值,避免时长设置不一致导致的页面实际生效的超时时长和设置值的冲突。 修改Manager页面及认证中心的超时时长。 MRS 3.x之前版本集群: 分别登录集群所有Master节点,在所有Master节点中执行如下2-4步骤的修改。 修改
况修改HQL内容。 cursor = connection.cursor() cursor.execute('show tables') 获取结果并输出 for result in cursor.fetchall(): print(result) 父主题: 开发Hive应用
有“-with-dependencies”字段的Jar包放进该路径下,并在该目录下创建子目录“src/main/resources”,将已获取的“hive-jdbc-example\src\main\resources”目录下的所有文件复制到“resources”下。 执行以下命令运行Jar包: