场景:

平时跑一下spark 任务,然后用python 开发会比较快,然后在大数据集群的普通用户装环境跑任务的时候,报错无权限

解决方案:

以下操作都是在普通用户上运行,已实践

# 建立虚拟环境,再安装包(推荐)
python3 -m venv env
source ./env/bin/activate 
python -m pip install spark[samples]

# 指定当前在用户目录下安装
python -m pip install --user spark[samples]

# 使用sudo命令来在系统文件夹下安装(不推荐)
sudo python -m pip install spark[samples]

引用:

https://blog.csdn.net/qq_43715520/article/details/122368564
最后修改:2022 年 07 月 20 日
如果觉得我的文章对你有用,请随意赞赏