Tutorial HTTPS

HTTPS mit ESP8266

Immer mehr Seiten im Web setzen auf die verschüsselte Übertragung der Informationen oder erzwingen diese. Damit wir diese auch nutzen können, bietet uns ESPRESSIF in den Libs die WiFiClientSecure.h, die eigentlich nur eine Verzweigung zu WiFiClientSecureBearSSL.h ist. Durch die Unterstützung von agmue konnten einige Beispiele so angepasst werden, dass sie auch mit dem ESP32 nutzbar sind. Leider sind das nicht alle, da ESPRESSIF beim ESP32 teilweise andere Wege geht.
Um die Beispiele nutzen zu können, habe ich eine Testseite bereit gestellt

https://www.wikinger-tommy.de/ardutest/ardutest.php

die bei erfolgreicher Verbindung den Text "HTTPS-Verbindung erfolgreich" ausgibt. Wir werden in den ersten Fällen von einem einfachen Grundaufbau eines Clients ausgehen.
Funktioniert mit ESP8266 und ESP32.

clientOhne.ino


#if defined(ESP8266)
#include <ESP8266WiFi.h>
#include <ESP8266HTTPClient.h>
#elif defined(ESP32)
#include <WiFi.h>
#include <HTTPClient.h>
#else
#error "Only ESP8266 or ESP32"
#endif
#include <WiFiClientSecure.h>

const char *ssid = "SSID";
// >= 8 oder <= 63 Zeichen oder NULL
const char *pass = "geheim";

const char *host = "www.wikinger-tommy.de";
const uint16_t port = 443; 

// Use WiFiClientSecure class to create TLS connection
WiFiClientSecure client;

void setup() {
  Serial.begin(115200);
  WiFi.persistent(false);
  WiFi.mode(WIFI_STA);
  WiFi.begin(ssid, pass);
  while (WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
  }
  Serial.println("");
  Serial.println("WiFi connected");
  Serial.println("IP address: ");
  Serial.println(WiFi.localIP());

  Serial.print("Connecting to ");
  Serial.println(host);

  Serial.println("Ohne Sicherheitseinstellungen");

  if (!client.connect(host, port)) {
    Serial.println("Connection failed");
    return;
  }

  HTTPClient http;
  Serial.print("[HTTPS] begin...\n");
    if (http.begin(client, "https://www.wikinger-tommy.de/ardutest/ardutest.php")) {
    
      Serial.print("[HTTPS] GET...\n");
      // start connection and send HTTP header
      int httpCode = http.GET();
      // httpCode will be negative on error
      if (httpCode > 0) {
        // HTTP header has been send and Server response header has been handled
        Serial.printf("[HTTP] GET... code: %d\n", httpCode);

        // file found at server
        if (httpCode == HTTP_CODE_OK || httpCode == HTTP_CODE_MOVED_PERMANENTLY) {
          String payload = http.getString();
          Serial.println(payload);
        }
      } else {
        Serial.printf("[HTTP] GET... failed, error: %s\n", http.errorToString(httpCode).c_str());
      }

      http.end();
    } else {
      Serial.printf("[HTTP Unable to connect\n");
    }
}
 
void loop() {}

Ohne Sicherheitseinstellung bekommen wir keine Verbindung, wie wir an der Ausgabe sehen:


.......
WiFi connected
IP address: 
192.168.178.28
Connecting to www.wikinger-tommy.de
Ohne Sicherheitseinstellungen
Connection failed

Was können wir also tun, um eine HTTPS-Verbindung zu nutzen. Wir haben 4 Möglichkeiten:

Unsichere Verbindung
Fingerprint
Zertifikat der CA
alle CA-Zertifikate

1. Unsichere Verbindung

Jeder Server, der HTTPS-Verbindungen nutzen will, braucht dazu ein Zertifikat. Dieses Zertifikat bezeugt die Identität des Servers und wird von einer CA (Certification Authority) ausgestellt und signiert. Mit der Prüfung dieses Zertifikates können wir sicher stellen, dass der Server auch der ist, als der er sich ausgibt.
Selbst erzeugte und signierte Zertifikate (das geht auch) lassen wir hier mal außen vor. Wenn uns diese Prüfung nicht interessiert, können wir es uns einfach machen und dem WiFiClientSecure einfach sagen, prüfe nichts, nur HTTPS nutzen.
Funktioniert mit ESP8266 und ESP32.

clientInsecure.ino


#if defined(ESP8266)
#include <ESP8266WiFi.h>
#include <ESP8266HTTPClient.h>
#elif defined(ESP32)
#include <WiFi.h>
#include <HTTPClient.h>
#else
#error "Only ESP8266 or ESP32"
#endif
#include <WiFiClientSecure.h>

const char *ssid = "SSID";
// >= 8 oder <= 63 Zeichen oder NULL
const char *pass = "geheim";

const char *host = "www.wikinger-tommy.de";
const uint16_t port = 443; 

// Use WiFiClientSecure class to create TLS connection
WiFiClientSecure client;

void setup() {
  Serial.begin(115200);
  WiFi.persistent(false);
  WiFi.mode(WIFI_STA);
  WiFi.begin(ssid, pass);
  while (WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
  }
  Serial.println("");
  Serial.println("WiFi connected");
  Serial.println("IP address: ");
  Serial.println(WiFi.localIP());

  Serial.print("Connecting to ");
  Serial.println(host);

  Serial.println("Mit setInsecure()");
  client.setInsecure();                       // <--------------------------
	
  if (!client.connect(host, port)) {
    Serial.println("Connection failed");
    return;
  }

  HTTPClient http;
  Serial.print("[HTTPS] begin...\n");
    if (http.begin(client, "https://www.wikinger-tommy.de/ardutest/ardutest.php")) {
    
      Serial.print("[HTTPS] GET...\n");
      // start connection and send HTTP header
      int httpCode = http.GET();
      // httpCode will be negative on error
      if (httpCode > 0) {
        // HTTP header has been send and Server response header has been handled
        Serial.printf("[HTTPS] GET... code: %d\n", httpCode);

        // file found at server
        if (httpCode == HTTP_CODE_OK || httpCode == HTTP_CODE_MOVED_PERMANENTLY) {
          String payload = http.getString();
          Serial.println(payload);
        }
      } else {
        Serial.printf("[HTTPS] GET... failed, error: %s\n", http.errorToString(httpCode).c_str());
      }

      http.end();
    } else {
      Serial.printf("[HTTPS Unable to connect\n");
    }
}
 
void loop() {}

Wir sehen, die Verbindung ist erfolgreich.


.......
WiFi connected
IP address: 
192.168.178.28
Connecting to www.wikinger-tommy.de
Mit setInsecure()
[HTTPS] begin...
[HTTPS] GET...
[HTTPS] GET... code: 200
HTTPS-Verbindung erfolgreich

2. Fingerprint

Zu jedem Zertifikat gibt es einen Fingerprint (Fingerabdruck), d.h. ein cryptographischer Hast über das Zertifikat. Wir benötigen den Fingerprint nach dem Verfahren SHA1!
Der Fingerabdruck gehört zum Zertifikat und ändert sich damit nach einiger Zeit. Bei den meisten Zertifikaten sind das 3 Monate, bei teureren auch mal 1 Jahr. Danach muss also das neue Zertifikat eingetragen werden. Wie kommen wir nun an sen Fingerabdruck? Wenn wir mit unserem Browser auf der Website sind, klicken wir auf das Schloss links in der URL-Zeile. Dann geht es je nach Browser über "weitere Informationen" / "Zertifikat" zu Zertifikat anzeigen. Dort dann scrollen zu Pingerprint (SHA1). Je nach Browser wird der unterschiedlich ausgegeben, es funktionieren beide Varianten.

< data-download class="line-numbers"> // Firefox 61:26:BD:03:CA:0D:55:7A:C8:C1:75:82:4F:EE:51:2A:F6:0B:24:72 //Edge 6126bd03ca0d557ac8c175824fee512af60b2472 Achtung: Dieser Fingerprint ändert sich. Ich werde deshalb nicht jedesmal das Tutorial ändern. Bitte selbst den aktuellen Fingerprint einfügen.

Damit ergibt sich für uns folgender Code (Funktioniert nur mit ESP8266):

clientFingerprint.ino


#include <ESP8266WiFi.h>
#include <ESP8266HTTPClient.h>
#include <WiFiClientSecure.h>

const char *ssid = "SSID";
// >= 8 oder <= 63 Zeichen oder NULL
const char *pass = "geheim";

const char *host = "www.wikinger-tommy.de";
const uint16_t port = 443; 

// Use WiFiClientSecure class to create TLS connection
WiFiClientSecure client;

void setup() {
  Serial.begin(115200);
  WiFi.persistent(false);
  WiFi.mode(WIFI_STA);
  WiFi.begin(ssid, pass);
  while (WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
  }
  Serial.println("");
  Serial.println("WiFi connected");
  Serial.println("IP address: ");
  Serial.println(WiFi.localIP());

  Serial.print("Connecting to ");
  Serial.println(host);

  Serial.println("Mit Fingerprint");
	const char* fingerprint = "61:26:BD:03:CA:0D:55:7A:C8:C1:75:82:4F:EE:51:2A:F6:0B:24:72";
	// const char* fingerprint = "6126bd03ca0d557ac8c175824fee512af60b2472";
  client.setFingerprint(fingerprint);                       // <--------------------------
	
  if (!client.connect(host, port)) {
    Serial.println("Connection failed");
    return;
  }

  HTTPClient http;
  Serial.print("[HTTPS] begin...\n");
    if (http.begin(client, "https://www.wikinger-tommy.de/ardutest/ardutest.php")) {
    
      Serial.print("[HTTPS] GET...\n");
      // start connection and send HTTP header
      int httpCode = http.GET();
      // httpCode will be negative on error
      if (httpCode > 0) {
        // HTTP header has been send and Server response header has been handled
        Serial.printf("[HTTPS] GET... code: %d\n", httpCode);

        // file found at server
        if (httpCode == HTTP_CODE_OK || httpCode == HTTP_CODE_MOVED_PERMANENTLY) {
          String payload = http.getString();
          Serial.println(payload);
        }
      } else {
        Serial.printf("[HTTPS] GET... failed, error: %s\n", http.errorToString(httpCode).c_str());
      }

      http.end();
    } else {
      Serial.printf("[HTTPS Unable to connect\n");
    }
}
 
void loop() {}

Wir sehen, die Verbindung ist erfolgreich.


.......
WiFi connected
IP address: 
192.168.178.28
Connecting to www.wikinger-tommy.de
Mit Fingerprint
[HTTPS] begin...
[HTTPS] GET...
[HTTPS] GET... code: 200
HTTPS-Verbindung erfolgreich

3. Zertifikat der CA

Wie können wir das Problem mit den 3 Monaten verbessern (ganz abschaffen können wir notwendige Änderungen nicht) und die Zeit verlängern? Dazu müssen wir wissen, dass Zertifikate eine Kette bilden und wir auch mit dem Zertifikat der jeweiligen Root-CA das Zertifikat des Servers prüfen können. Deren Zertifikate haben eine wesentlich längere Laufzeit, für mich z.B. bis 2035. Für die nächsten beiden Varianten verwenden wir den gleichen Server und binden die unterschiedlichen Zertifikate mit einer weiteren .ino-Datei im Verzeichnis eim. Achtung! Von den dann folgenden Einbindungen darf nur eine im Verzeichnis liegen.
Hier der Client (Funktioniert mit ESP8266 und ESP32):

clientCA.ino


#if defined(ESP8266)
#include <ESP8266WiFi.h>
#include <ESP8266HTTPClient.h>
#elif defined(ESP32)
#include <WiFi.h>
#include <HTTPClient.h>
#else
#error "Only ESP8266 or ESP32"
#endif
#include <WiFiClientSecure.h>

const char *ssid = "SSID";
// >= 8 oder <= 63 Zeichen oder NULL
const char *pass = "geheim";

const char *host = "www.wikinger-tommy.de";
const uint16_t port = 443; 

// Use WiFiClientSecure class to create TLS connection
WiFiClientSecure client;

void setup() {
  Serial.begin(115200);
  WiFi.persistent(false);
  WiFi.mode(WIFI_STA);
  WiFi.begin(ssid, pass);
  while (WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
  }
  Serial.println("");
  Serial.println("WiFi connected");
  Serial.println("IP address: ");
  Serial.println(WiFi.localIP());

  Serial.print("Connecting to ");
  Serial.println(host);

  // Initialisierung Root-CA im zweiten .ino File
  configCA();
	  if (!client.connect(host, port)) {
    Serial.println("Connection failed");
    return;
  }

  HTTPClient http;
  Serial.print("[HTTPS] begin...\n");
    if (http.begin(client, "https://www.wikinger-tommy.de/ardutest/ardutest.php")) {
    
      Serial.print("[HTTPS] GET...\n");
      // start connection and send HTTP header
      int httpCode = http.GET();
      // httpCode will be negative on error
      if (httpCode > 0) {
        // HTTP header has been send and Server response header has been handled
        Serial.printf("[HTTPS] GET... code: %d\n", httpCode);

        // file found at server
        if (httpCode == HTTP_CODE_OK || httpCode == HTTP_CODE_MOVED_PERMANENTLY) {
          String payload = http.getString();
          Serial.println(payload);
        }
      } else {
        Serial.printf("[HTTPS] GET... failed, error: %s\n", http.errorToString(httpCode).c_str());
      }

      http.end();
    } else {
      Serial.printf("[HTTPS Unable to connect\n");
    }
}
 
void loop() {}

Wenn wir unseren Client nur für einen bestimmten Server benötigen, dann können wir dessen Root-CA-Zertifikat auch wieder im Browser ermitteln und eintragen. Wieder vom Schloss zum Zertifikat durchklicken und dann für Firefox auf PEM (Zertifikatskette) gehen. Es ist das letzte in der Liste. Für Edge ist es etwas umständlicher. Oben auf Zertifizierungspfad klicken und den obersten Eintrag wählen, Details, In Datei kopieren, Base64 wählen, weiter, Dateiname vergeben, fertig. Wenn wir unser Root-Zertifikat haben, können wir dieses im 2. File "_clientOneCA.ino" einbauen. Achtung, nicht einrücken!
Dieses funktioniert für ESP8266 und ESP32.

_clientOneCA.ino


// Im Browser die Website aufrufen, mit der Mouse auf das Schloß klicken, weitere Informationen
// Zertifikat anzeigen, ganz nach rechts auf das höchste Zertifikat gehen, runterscrollen bis "Verschiedenes" 
// dort PEM(Zertifikat) wählen und zwischen "CERT( und )CERT"; einfügen, evtl. Gültigkeitsdatum eintragen
// gültig bis Mon, 04 Jun 2035

// das verhindert das automatische Einrücken in der IDE
// *INDENT-OFF*
const char cert_XSRG_ROOT_X1 [] PROGMEM = R"CERT(
-----BEGIN CERTIFICATE-----
MIIFazCCA1OgAwIBAgIRAIIQz7DSQONZRGPgu2OCiwAwDQYJKoZIhvcNAQELBQAw
TzELMAkGA1UEBhMCVVMxKTAnBgNVBAoTIEludGVybmV0IFNlY3VyaXR5IFJlc2Vh
cmNoIEdyb3VwMRUwEwYDVQQDEwxJU1JHIFJvb3QgWDEwHhcNMTUwNjA0MTEwNDM4
WhcNMzUwNjA0MTEwNDM4WjBPMQswCQYDVQQGEwJVUzEpMCcGA1UEChMgSW50ZXJu
ZXQgU2VjdXJpdHkgUmVzZWFyY2ggR3JvdXAxFTATBgNVBAMTDElTUkcgUm9vdCBY
MTCCAiIwDQYJKoZIhvcNAQEBBQADggIPADCCAgoCggIBAK3oJHP0FDfzm54rVygc
h77ct984kIxuPOZXoHj3dcKi/vVqbvYATyjb3miGbESTtrFj/RQSa78f0uoxmyF+
0TM8ukj13Xnfs7j/EvEhmkvBioZxaUpmZmyPfjxwv60pIgbz5MDmgK7iS4+3mX6U
A5/TR5d8mUgjU+g4rk8Kb4Mu0UlXjIB0ttov0DiNewNwIRt18jA8+o+u3dpjq+sW
T8KOEUt+zwvo/7V3LvSye0rgTBIlDHCNAymg4VMk7BPZ7hm/ELNKjD+Jo2FR3qyH
B5T0Y3HsLuJvW5iB4YlcNHlsdu87kGJ55tukmi8mxdAQ4Q7e2RCOFvu396j3x+UC
B5iPNgiV5+I3lg02dZ77DnKxHZu8A/lJBdiB3QW0KtZB6awBdpUKD9jf1b0SHzUv
KBds0pjBqAlkd25HN7rOrFleaJ1/ctaJxQZBKT5ZPt0m9STJEadao0xAH0ahmbWn
OlFuhjuefXKnEgV4We0+UXgVCwOPjdAvBbI+e0ocS3MFEvzG6uBQE3xDk3SzynTn
jh8BCNAw1FtxNrQHusEwMFxIt4I7mKZ9YIqioymCzLq9gwQbooMDQaHWBfEbwrbw
qHyGO0aoSCqI3Haadr8faqU9GY/rOPNk3sgrDQoo//fb4hVC1CLQJ13hef4Y53CI
rU7m2Ys6xt0nUW7/vGT1M0NPAgMBAAGjQjBAMA4GA1UdDwEB/wQEAwIBBjAPBgNV
HRMBAf8EBTADAQH/MB0GA1UdDgQWBBR5tFnme7bl5AFzgAiIyBpY9umbbjANBgkq
hkiG9w0BAQsFAAOCAgEAVR9YqbyyqFDQDLHYGmkgJykIrGF1XIpu+ILlaS/V9lZL
ubhzEFnTIZd+50xx+7LSYK05qAvqFyFWhfFQDlnrzuBZ6brJFe+GnY+EgPbk6ZGQ
3BebYhtF8GaV0nxvwuo77x/Py9auJ/GpsMiu/X1+mvoiBOv/2X/qkSsisRcOj/KK
NFtY2PwByVS5uCbMiogziUwthDyC3+6WVwW6LLv3xLfHTjuCvjHIInNzktHCgKQ5
ORAzI4JMPJ+GslWYHb4phowim57iaztXOoJwTdwJx4nLCgdNbOhdjsnvzqvHu7Ur
TkXWStAmzOVyyghqpZXjFaH3pO3JLF+l+/+sKAIuvtd7u+Nxe5AW0wdeRlN8NwdC
jNPElpzVmbUq4JUagEiuTDkHzsxHpFKVK7q4+63SM1N95R1NbdWhscdCb+ZAJzVc
oyi3B43njTOQ5yOf+1CceWxG1bQVs5ZufpsMljq4Ui0/1lvh+wjChP4kqKOJ2qxq
4RgqsahDYVvTH9w7jXbyLeiNdd8XM2w9U/t7y0Ff/9yi0GE44Za4rF2LN9d11TPA
mRGunUHBcnWEvgJBQl9nJEiU0Zsnvgc/ubhPgXRR4Xq37Z0j4r7g1SgEEzwxA57d
emyPxgcYxn/eR44/KJ4EBs+lVDR3veyJm+kXQ99b21/+jh5Xos1AnX5iItreGCc=
-----END CERTIFICATE-----
)CERT";
// *INDENT-ON*
#if defined(ESP8266)
X509List cert(cert_XSRG_ROOT_X1);
#endif

void configCA() {
#if defined(ESP8266)
  client.setTrustAnchors(&cert);
#elif defined(ESP32)
  client.setCACert(cert_XSRG_ROOT_X1);
#endif
  Serial.println("Single CA");
}

Auch das funktioniert:


.......
WiFi connected
IP address: 
192.168.178.28
Connecting to www.wikinger-tommy.de
Single CA
[HTTPS] begin...
[HTTPS] GET...
[HTTPS] GET... code: 200
HTTPS-Verbindung erfolgreich

4. alle CA-Zertifikate

Was machen wir nun, wenn wir flexibel auf alle Webseiten zugreifen wollen, wie im Browser?
Dann müssen wir uns alle Root-CA-Zertifikate holen, die Mozilla kennt, diese ins Binärformat (DER) umwandeln und diese in ein Archiv namens "certs.ar" packen.

Das klingt etwas umständlich, deshalb habe ich diese Umwandlung mit einem Python-Script aus dem Netz auf meinem Server gepackt. Das Script läuft täglich und stellt damit immer ein aktuelles "certs.ar" zum Download zur Verfügung.
Dieses müsst Ihr ins LittleFS hochladen. Ich empfehle dazu den Dateimanager von Fips.
Die "certs.ar" wird wie folgt mit "_clientAllCA.ino" eingebunden (Funktioniert nur mit ESP8266):

_clientAllCA.ino


#include <CertStoreBearSSL.h>
#include <LittleFS.h>

// certs.ar muss im LittleFS liegen
BearSSL::CertStore certStore;

void configCA() {
  Serial.println("alle CA-Zertifikate");
  if (LittleFS.begin()) {
	  int numCerts = certStore.initCertStore(LittleFS, PSTR("/certs.idx"), PSTR("/certs.ar"));
	  client.setCertStore(&certStore);
	  Serial.print("Certstore. CAs: ");
	  Serial.println(numCerts);
	}
	else Serial.println("ERROR: Little FS nicht vorhanden");
}

Auch damit ist die Verbindung erfolgreich:


.......
WiFi connected
IP address: 
192.168.178.28
Connecting to www.wikinger-tommy.de
alle CA-Zertifikate
Certstore. CAs: 154
[HTTPS] begin...
[HTTPS] GET...
[HTTPS] GET... code: 200
HTTPS-Verbindung erfolgreich

Andere Websites könnt Ihr damit dann selbst ausprobieren.
Die Datei "certs.ar" findet Ihr hier. Sie wird jede Nacht automatisch neu erstellt.
Viel Erfolg bei der Arbeit mit HTTPS, es ist nicht schwer.

Gruß Tommy