检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
*”表示读取其路径是以“/test”开头的所有文件。 说明： 为确保一致性，配置特定模式以仅缓存其他客户端不经常修改的文件。 正则表达式模式将仅验证URI的path部分，而不验证在Fully Qualified路径情况下的schema和authority。 - dfs.client.metadata.cache
*”表示读取其路径是以“/test”开头的所有文件。 说明： 为确保一致性，配置特定模式以仅缓存其他客户端不经常修改的文件。 正则表达式模式将仅验证URI的path部分，而不验证在Fully Qualified路径情况下的schema和authority。 - dfs.client.metadata.cache
/opt/knox/bin/restart-knox.sh 重启完成后在浏览器地址栏中，输入并访问FusionInsight Manager的网络地址，验证能否正常打开页面。 企业证书有效时间已过期或安全性加强，MRS更换为新的证书后，请同步更换本地证书。 登录FusionInsight Manager，选择“集群
创建Python任务 登录到集群Manager界面，在Yarn的WebUI页面上查看提交的pyspark应用。 图5 查看任务运行情况 验证pandas库调用。 图6 验证pandas 对接Jupyter常见问题 pandas本地import使用时，报错如下： 参考以下步骤进行处理： 执行命令python
--创建数据库名为test的数据库 CREATE DATABASE test ON CLUSTER default_cluster; --创建成功后，通过查询命令验证 show databases; ┌─name───┐ │ default │ │ system │ │ test
--创建数据库名为test的数据库 CREATE DATABASE test ON CLUSTER default_cluster; --创建成功后，通过查询命令验证 show databases; ┌─name───┐ │ default │ │ system │ │ test
”、“DEBUG”、“INFO”、“WARN”、“ERROR”和“FATAL”信息。 由于开源中定义的不同，组件的日志级别定义略有差异。 验证日志级别设置已生效，请下载日志并查看。请参见下载MRS集群日志（MRS 3.x及之后版本）。 修改服务日志级别与日志文件大小 KrbSer
Tracking URL”链接登录Flink原生页面查看作业信息。 图3 在Yarn WebUI查看作业信息 验证作业执行结果： FlinkIoTDBSink执行结果验证： 在IoTDB客户端执行以下命令，查看数据是否已经从Flink写入到IoTDB中。 SQLselect * from
'obs://mrs-word001/table/'; 执行如下命令查询所有表，返回结果中存在表test，即表示访问OBS成功。 show tables; 图1 Spark验证返回已创建的表名 使用“Ctrl + C”退出spark beeline。 父主题： 客户端使用类
登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”，进入“新增访问密钥”页面。 输入登录密码和短信验证码，单击“确定”，下载密钥，请妥善保。 操作步骤 准备使用Spark SQL分析的数据源。 样例txt文件如下： abcd3ghji efgh658ko
应的数据。 通过调整“spark.sql.shuffle.partitions”参数值可以调整取模时的基数，改善数据分块不均匀的情况，多次验证发现配置为质数或者奇数效果比较好。 在Driver端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数
应的数据。 通过调整“spark.sql.shuffle.partitions”参数值可以调整取模时的基数，改善数据分块不均匀的情况，多次验证发现配置为质数或者奇数效果比较好。 在Driver端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数
载集群客户端。 在“下载集群客户端”弹窗中填写集群客户端下载信息。 图3 下载集群客户端 “选择客户端类型”中选择“完整客户端”。 “选择平台类型”必须与待安装节点的架构匹配，以“x86_64”为例。 勾选“仅保存到如下路径”，填写下载路径，本示例以“/tmp/FusionIns
单击“保存”，在弹窗页面中单击“确定”，保存配置。单击“概览”，选择“更多 > 滚动重启服务”，重启HetuEngine服务，并滚动重启所有计算实例。 验证配置结果 登录FusionInsight Manager，选择“集群 > 服务 > MemArtsCC > 图表 > 容量”。 查看图表“集群shard数量”
policy”中配置参数值为“memArtsCC”。 单击“保存”，在弹窗页面中单击“确定”，保存配置。单击“概览”，选择“更多 > 滚动重启服务”，重启Hive服务。 验证配置结果 登录FusionInsight Manager，选择“集群 > 服务 > MemArtsCC > 图表 > 容量”。 查看图表“集群shard数量”
“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager页面，选择“集群
历史记录可以保存的时间（小时）。 24 配置完成后，单击“保存”。 单击“概览”进入Loader服务概览界面，选择“更多 > 重启服务”，验证用户身份后，单击“确定”，等待重启成功。 父主题： 管理Loader作业
"test02"); 参考添加Spark2x的Ranger访问权限策略，给sparktest表配置脱敏策略，验证脱敏是否生效： select * from sparktest; 验证脱敏策略传递： create table sparktest02 as select * from sparktest;
重启HetuEngine计算实例。 使用验证Function Plugin 登录客户端安装节点，执行安全认证。 cd /opt/client source bigdata_env kinit HetuEngine用户 hetu-cli 选择验证环境上有数值（int或double类型）列的表，此处选择hive
滚动重启实例”，重启SparkResource实例。 重新下载安装Spark服务客户端，或者更新已有客户端配置，具体参考使用MRS客户端。 验证配置结果 登录FusionInsight Manager，选择“集群 > 服务 > MemArtsCC > 图表 > 容量”。 查看图表“集群shard数量”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
