解决办法：
1、py4j版本
查看conda中的py4j版本与 spark/python/lib中的py4j版本是否一致，如果不一致，先卸载conda或本地环境中的Py4j，重新安装。
参考链接：https://blog.csdn.net/weixin_40122615/article/details/102606911
2、查看swap空间是否足够
free命令，查看系统是否有swap空间，或者空间是否还有剩余。笔者是全为0,如下图所示：
此类情况，需要新建swap空间，方法如下：
检查系统的交换信息
在开始之前，我们可以检查系统是否已经有一些可用的交换空间，可能有多个交换文件或交换分区，但通常应该是足够的。我们可以通过如下的命令来查看系统是否有交换分区：
sudo swapon --show1
如果没有任何结果或者没有任何显示，说明系统当前没有可用的交换空间。也可以使用free工具来验证当前确实没有可用的交换分区。
free -h1
输出结果：
total used free shared buff/cache available
Mem: 488M 36M 104M 652K 348M 426M
Swap: 0B 0B 0B123
可以看到这里的”swap”行均为0，也就是说系统上没有交换处于活动状态。
检查硬盘驱动器分区上的可用空间
为swap分配空间的最常见方式是使用专门用于具体某个任务的单独分， 但是，改变分区方案并不是一定可行的，我们只是可以轻松地创建驻留在现有分区上的交换文件。
在开始之前，我们应该通过输入以下命令来检查当前磁盘的使用情况：
df -h1
输出结果：
Filesystem Size Used Avail Use% Mounted on
udev 238M 0 238M 0% /dev
tmpfs 49M 624K 49M 2% /run
/dev/vda1 20G 1.1G 18G 6% /
tmpfs 245M 0 245M 0% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 245M 0 245M 0% /sys/fs/cgroup
tmpfs 49M 0 49M 0% /run/user/100112345678
在这种情况下，/dev下的设备是我们的磁盘。在这个例子中我们有足够的空间（只使用了1.1G），当然，您的使用情况可能会有所不同。
尽管对于交换空间的适当大小有许多意见，但这取决于您的个人偏好和应用程序要求。 一般来说，相当于系统内存量的两倍或者两倍是一个很好的起点。 另一个很好的经验是，如果你只是把它用作RAM备用，那么swap分区的大小尽量不要超过4 GB。
创建swap文件
现在我们知道了可用的硬盘空间，那我们就可以在文件系统中创建一个交换文件，我们将在我们的根（/）目录下创建一个名为swapfile的文件。创建交换文件最好的方法是使用fallocate命令，这个命令能立即创建一个预分配大小的文件。由于本示例中的服务器RAM的大小为512MB，因此我们将在本教程中创建一个1 GB大小的文件，并适当加以调整，以满足您自己的服务器的需求：
sudo fallocate -l 1G /swapfile1
创建完成之后，我们可以通过这个命令来验证是否保留了正确的交换空间：
ls -lh /swapfile1
显示结果：
-rw-r--r-- 1 root root 1.0G Apr 25 11:14 /swapfile1
这就说明我们的文件已经创建了正确的空间大小。
启用交换文件
现在我们有一个1 GB大小的文件，我们需要把它变成交换空间
首先，我们需要锁定文件的权限，以便只有拥有root权限的用户才能读取文件内容，这可以防止普通用户能够访问该文件，以免造成重大的安全隐患。
锁定文件的root权限：
sudo chmod 600 /swapfile1
验证权限：
ls -lh /swapfile1
显示结果：
-rw------- 1 root root 1.0G Apr 25 11:14 /swapfile1
可以看到，只有root用户启用了读写标志。
接下来，我们可以通过以下命令将文件标记为交换空间
sudo mkswap /swapfile1
显示结果：
Setting up swapspace version 1, size = 1024 MiB (1073737728 bytes)
no label, UUID=6e965805-2ab9-450f-aed6-577e74089dbf12
标记文件之后，我们可以启用该交换文件，让我们的系统开始使用它：
sudo swapon /swapfile1
可以通过以下命令验证交换空间是否可用：
$ sudo swapon --show1
显示结果：
NAME TYPE SIZE USED PRIO
/swapfile file 1024M 0B -112
这时，我们可以通过free再次查看我们的设置：
free -h1
显示结果：
total used free shared buff/cache available
Mem: 488M 37M 96M 652K 354M 425M
Swap: 1.0G 0B 1.0G123
可以看到swap分区已成功创建，大小为1.0 G，操作系统将在必要时使用。
永久保留交换文件
我们最近的更改启用了当前会话的swap文件，但是，如果我们重新启动，服务器不会自动保留swap设置，我们可以通过将swap文件添加到/etc/fstab文件中来改变这一点。
备份/etc/fstab文件以防出错：
sudo cp /etc/fstab /etc/fstab.bak1
将swap文件信息添加到/etc/fstab文件的末尾：
$ echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab1
这样就保留了swap文件。
调整你的交换设置
在处理交换时，可以配置几个选项，这些选项会影响系统的性能
调整swappiness属性
swappiness参数配置您的系统将数据从RAM交换到交换空间的频率, 值介于0和100之间，表示百分比。如果swappiness值接近0，内核将不会将数据交换到磁盘，除非绝对必要。要记住一点，与swap文件的交互是“昂贵的”，因为与swap交互花费的时间比与RAM的交互更长，并且会导致性能的显著下降。系统更少依赖swap分区通常会使你的系统更快。swappiness接近100的值将尝试将更多的数据放入交换中，以保持更多的RAM空间。根据您的应用程序的内存配置文件或您使用的服务器，这可能会在某些情况下更好。
查看当前的swappiness值：
cat /proc/sys/vm/swappiness1
结果显示
601
对于桌面系统来说，60的swappiness设置不是一个比较坏的值，但是对于服务器，您可能希望将其设置与0更接近的值。
我们可以使用sysctl命令将swappiness设置为不同的值，例如，要将swappiness设置为10：
sudo sysctl vm.swappiness=101
显示结果：
vm.swappiness = 101
该设置将保持到系统下次重新启动，如果想要在重启之后也生效，我们可以通过在/etc/sysctl.conf文件中添加一行实现：
sudo nano /etc/sysctl.conf1
在文件的最后添加：
vm.swappiness=101
完成后保存并关闭文件。
调整缓存压力设置
您可能想要修改的另一个相关值是vfs_cache_pressure，这个设置配置系统将选择多少数据缓存inode和dentry信息。基本上，这是访问有关文件系统的数据，通常是非常耗时的查询和频繁要求，所以这是一个很好的事情，让您的系统缓存，您可以通过再次查询proc文件系统来查看当前值。
cat /proc/sys/vm/vfs_cache_pressure1
输出结果：
1001
这个配置可能使我们的系统太快地从缓存中删除inode信息。 我们可以设置一个更保守的值，比如50。
sudo sysctl vm.vfs_cache_pressure=501
显示结果：
vm.vfs_cache_pressure = 501
和swappiness类似，这只对当前的session有效，我们可以通过将其添加到我们的配置文件来改变它，就像我们使用我们的swappiness设置一样：
sudo nano /etc/sysctl.conf1
在末尾添加：
vm.vfs_cache_pressure=501
完成后保存并关闭文件。
总结
遵循本指南的步骤将给您一些喘息的空间，否则会导致内存不足的例外，swap空间对于避免这些常见问题非常有用，如果遇到OOM（内存不足）错误，或者如果发现系统无法使用所需的应用程序，则最佳解决方案是优化应用程序配置或升级服务器。
参考链接：
https://www.cnblogs.com/lxmzq/articles/12566241.html
https://blog.csdn.net/u010429286/article/details/79219230