场景:
平时跑一下spark 任务,然后用python 开发会比较快,然后在大数据集群的普通用户装环境跑任务的时候,报错无权限
解决方案:
以下操作都是在普通用户上运行,已实践
# 建立虚拟环境,再安装包(推荐)
python3 -m venv env
source ./env/bin/activate
python -m pip install spark[samples]
# 指定当前在用户目录下安装
python -m pip install --user spark[samples]
# 使用sudo命令来在系统文件夹下安装(不推荐)
sudo python -m pip install spark[samples]
引用:
https://blog.csdn.net/qq_43715520/article/details/122368564