Sinds enkele dagen zijn de problemen bij Let's Encrypt volledig opgelost. Zodoende hebben we alles weer naar de oude staat gebracht.

Deze ochtend hebben we een storing waargenomen op 1 van onze servers. Deze storing had betrekking tot hoog resource gebruik, waarna een server herstart is ingezet.

Na de server herstart kwam 1 essentiële dienst in storing te hangen, waardoor deze niet opstartte. Dit zorgde voor de ervaren downtime. De rede ligt hier bij een relatie tot Let's Encrypt, waar veel van de websites gebruik van maken voor hun SSL certificaat.

De geldigheid van de aangevraagde certificaten kan, door een storing aldaar, niet gecheckt worden. Dit probleem wordt in de dienst niet goed afgevangen waardoor deze in storing valt.

We hebben een workaround geïmplementeerd waarna de server weer netjes is gerecovered. Bij herstellen van de externe Let's Encrypt service herstellen we naar de normale versie.