レッツエンクリプトがうまくいかなかった。リポジトリのURIをいじって、最新のPHPやMySQLをインストールしていたためかなと思う。この仮説は正しくない。

OSを再インストールしてデフォルトのリポジトリからApacheだけをインストール。

sudo apt update
sudo apt upgrade
sudo apt install apache2

下記サイトを参照したら簡単にSSL化できた。

sudo apt install certbot python3-certbot-apache
sudo certbot --apache

参考サイト