检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否在“iframe”、“frame”或“object”网站中的展现页面的指示，如果默认配置为“X-Frame-Options: DENY”，则确保任何页面都不能被嵌入到别的“iframe”、“frame”或“object”网站中，从而避免了点击劫持 (clickjacking) 的攻击。
7运行时，使用yarn-client模式向服务端提交Spark任务。 Oracle JDK需进行安全加固，具体操作如下。 到Oracle官方网站获取与JDK版本对应的JCE（Java Cryptography Extension）文件。JCE文件解压后包含“local_policy
空值转换 概述 “空值转换”算子，用于将空值替换成指定值。 输入与输出 输入：空值字段 输出：原字段，但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名，需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。
Loader页面是基于开放源代码Sqoop WebUI的图形化数据迁移管理工具，由Hue WebUI承载。 MRS 3.x及以后版本集群，在Manager页面选择“集群 > 服务 > Hue > Hue WebUI > Hue (主机名称，主)”。 Loader页面是基于开放源代码Sqoop
Spark SQL join优化 操作场景 Spark SQL中，当对两个表进行join操作时，利用Broadcast特性（请参见使用广播变量），将小表BroadCast到各个节点上，从而转变成非shuffle操作，提高任务执行性能。 这里join操作，只指inner join。
空值转换 概述 “空值转换”算子，用于将空值替换成指定值。 输入与输出 输入：空值字段 输出：原字段，但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名，需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。
for more information. 客户端机器必须安装有setuptools，版本为47.3.1。 具体软件，请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptools压缩文件复制到客
for more information. 客户端机器必须安装有setuptools，版本为47.3.1。 具体软件，请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptools压缩文件复制到客
否在“iframe”、“frame”或“object”网站中的展现页面的指示，如果默认配置为“X-Frame-Options: DENY”，则确保任何页面都不能被嵌入到别的“iframe”、“frame”或“object”网站中，从而避免了点击劫持 (clickjacking) 的攻击。
SparkSQL访问Hive分区表启动Job前耗时较长如何处理？ 问题背景 使用SparkSql访问Hive的一个数据存放于OBS的一个分区表，但是运行速度却很慢，并且会大量调用OBS的查询接口。 SQL样例： select a,b,c from test where b=xxx
查看MRS集群详情失败 问题现象 在MRS管理控制台，单击集群名称，进入MRS集群详情页面失败。 原因分析 用户MRS集群选的是企业项目A（包含MRS FULLACCESS和ECS FULLACCESS权限）。 VPC选的是企业项目B。 安全组选的是企业项目A。 IAM这边加入的组没有任何权限设置。
7运行时，使用yarn-client模式向服务端提交Spark任务。 Oracle JDK需进行安全加固，具体操作如下。 到Oracle官方网站获取与JDK版本对应的JCE（Java Cryptography Extension）文件。JCE文件解压后包含“local_policy
mple Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，对网站的日志文件进行离线分析。 oozie-examples/oozienormal-examples/OozieSparkHBaseExample
配置Yarn权限控制开关 配置场景 在安全模式的多租户场景下，一个集群可以支持多个用户使用以及支持多个用户任务提交、运行，用户之间是不可见，需要有一个权限控制机制，使用户的任务信息不被其他用户获取。 例如，用户A提交的应用正在运行，此时用户B登录系统并查看应用列表，用户B不应该访问到A用户的应用信息。
取模转换 概述 “取模转换”算子，对整数字段取模，生成新字段。 输入与输出 输入：整数字段 输出：模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 输出字段名：配置输出字段名。
取模转换 概述 “取模转换”算子，对整数字段取模，生成新字段。 输入与输出 输入：整数字段 输出：模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 输出字段名：配置输出字段名。
报错 问题 使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错： 回答 调整Sqoop源码包中的代码，将timestamp强制转换类型和Hive保持一致。 将Hive中的字段类型修改为String。 父主题： Sqoop常见问题
打开浏览器访问：华为提供开源镜像站（https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/），查看网站是否能正常访问。如果访问异常，请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ
配置Yarn权限控制开关 配置场景 在安全模式的多租户场景下，一个集群可以支持多个用户使用以及支持多个用户任务提交、运行，用户之间不可见，需要有一个权限控制机制，使用户的任务信息不被其他用户获取。 例如，用户A提交的应用正在运行，此时用户B登录系统并查看应用列表，用户B不应该访问到A用户的应用信息。
mple Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，对网站的日志文件进行离线分析。 oozie-examples/ooziesecurity-examples/OozieSparkHBaseExample
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
