CsvJdbc (schreibgeschützter JDBC-Treiber)
CsvJdbc ist ein schreibgeschützter JDBC-Treiber. CSV-Dateien (Comma Separated Value) können als Datenbanktabellen verwendet werden. Es eignet sich zum Schreiben von Datenimportprogrammen oder zum Analysieren der Dateien.
Eine Verbindung zu den CSV-Daten kann zum Beispiel mit dem Squirrel SQL Client erfolgen (siehe auch https://www.cdata.com/kb/tech/csv-jdbc-squirrel-sql.rst).
DuckDB Datenbank-Engine bzw. WhatTheDuck
DuckDB bzw. WhatTheDuck eignet sich für die Verarbeitung und Speicherung von tabellarischen Datensätzen aus CSV-Dateien. So lassen sich CSV-Dateien mit SQL-Abfragen bearbeiten um eine interaktive Datenanalyse oder gleichzeitige große Änderungen an mehreren Tabellen durchzuführen.
Dank WhatTheDuck kann man dies direkt im Browser durchführen und die Abfragen der SQL-Statements lassen sich anschließend wieder im CSV-Format herunterladen.
Anschließend hat man direkt Zugriff auf sein persönliches Dashboard inkl. einer kurzen Installationsanleitung.
wget --no-check-certificate https://bin.equinox.io/c/bNyj1mQVY4c/ngrok-v3-stable-linux-arm.tgz
tar xfvz ngrok-v3-stable-linux-arm.tgz
Hinweis: Mit Hilfe von getconf LONG_BIT findet man heraus, welche Version von Linux installiert hat (32-Bit oder &4-Bit) ist.
Jetzt muss nur noch der folgende Befehl ausgeführt werden, damit der ngrok-Agent registriert wird. Anschließend kann eine Tunnelverbindung hergestellt werden.
./ngrok config add-authtoken ID
Als nächstes kann mit "./ngrok http 80" eine HTTP-Tunnelweiterleitung am lokalen Port 80 gestartet werden.
Nun kann ich z.B. direkt mit seinem Smartphone auf den Raspberry Pi im lokalen Netz zugreifen! Es war keine Firewallfreischaltung, Portweiterleitung oder DynDNS hierfür notwendig.
Eine weitere alternative wäre z.B. CloudFlare Tunnel https://developers.cloudflare.com/cloudflare-one/connections/connect-apps/install-and-setup oder Siehe auch "GitHub Repository: Awesome Tunneling" .
Anhand dem folgenden Beispiel der Tabelle "Raumtechnik", vergibt die Datenbank immer automatisch eine freie ID.
CREATE TABLE Raumtechnik (Id INT NOT NULL AUTO_INCREMENT, Typ VARCHAR(255) NOT NULL, Beschreibung VARCHAR(255), PRIMARY KEY (Id));
Beispiel für ein logisches Datenbankkonzept.
Eine Möglichkeit der Optimierung wäre hier einen vorzeichenlosen Integer (UNSIGNED INT) zu verwenden. Siehe auch "Im Dezember 2014 übertraf die Aufrufzahl von Psys Video „Gangnam Style“ auf YouTube das 32-Bit-Integer-Limit von 2 147 483 647."
Id UNSIGNED INT NOT NULL AUTO INCREMENT,
So lässt sich der Zahlenraum für IDs verdoppeln von 0 bis 4 294 967 295. Für sehr große Projekte sollte daher der 64-Bit-Integer UNSIGNED BIGINT verwendet werden. Aufpassen sollte man hier aber bei Web Applikationen (JSON Format), denn JavaScript-Engines der Browser haben hier irgendwann Probleme.
Auto-Increments können bei der Verwendung von Datenbank Clustern ggf. ein Problem werden. Denn hier erhält jeder Node einen Schreibauftrag. Damit sie sich nicht bei jedem Insert auf die nächste ID einigen müssen erhöhen die Nodes die ID nicht um +1, es wird um die Anzahl der Nodes im Cluster erhöht.
Verwendet man in seiner Applikation Import- und Export-Funktionen, kann dies in einer relationalen Datenbank (über Schlüssel mit anderen Tabellen verknüpft) beim Importieren von Datensätze aus einer anderen Datenbank zu Problemen führen. So können Einträge bereits existieren und IDs sich doppeln, die Einträge müssten somit neue IDs bekommen und in allen anderen relevanten Tabellen müssen die Fremdschlüssel aktualisiert werden. Je nach dem wie groß der Import ist, kann es hier zu sehr großen verketteten Abhängigkeiten kommen.
Verwendet man IDs in seiner WebAPI (uni.org/klausurergebnis/123), kann dies schnell zum Sicherheitsproblem innerhalb der Anwendung führen. So lassen sich IDs sehr einfach erraten und ggf. fremde Ergebnisse abrufen.
UUIDs können in einer Datenbank als Alternative zum Integer verwendet werden und können die oben beschriebenen Probleme beim Importieren von Daten und Zusammenführen der Datensätze verhindern.
Die UUID (Request for Comments 4122) besteht aus einer 16-Byte-Zahl, ist hexadezimal notiert und in fünf Gruppen unterteilt:
550e8400-e29b-11d4-a716-446655440000
Microsoft nennt dieses Verfahren anders, nämlich GUID (Globally Unique Identifier).
Erzeugen lassen sich die UUIDs unter PostgreSQL mit Hilfe von gen_random_uuid () und bei Microsoft SQL Servern verwendet man beim Anlegen der Tabelle den UNIQUE IDENTIFIER.
CREATE TABLE Raumtechnik (unique_id UUID DEFAULT gen_random_uuid (), Typ VARCHAR(255) NOT NULL, Beschreibung VARCHAR(255), PRIMARY KEY (unique_id));
Zukünftige Konflikte sollten mit der Verwendung von UUIDs so gut wie ausgeschlossen sein, denn eine UUID ist einzigartig und kann nur einmal vergeben werden.
Release early, release often - Mit Hilfe der CI/CD-Pipelines, welche in einem agilen Softwareprojekt zwingend erforderlich sind, welche den Prozess des fortlaufenden Zusammenfügens von Komponenten hin zu einer Anwendung garantieren, müssen Änderungen am Quellcode bzw. neue Funktionen nicht mehr bis zum nächsten großen Release gesammelt werden. Siehe auch "Agile Softwareentwicklung - GitHub Flow notwendig?".
Änderungen am Quellcode, die in der Versionsverwaltung eingecheckt werden, können sofort automatisch von Skripten getestet (siehe auch Softwaretest bei agiler Entwicklung durch Testautomatisierung) und zu einem auslieferungsfähigen Paket verpackt werden.
Die Tools der Wahl sind hier zum Beispiel Jenkins (build, test, and deploy their software) oder GitHub Actions, GitLab (end-to-end software development platform with built-in version control, issue tracking, code review), Maven (build automation tool used primarily for Java projects) und Nexus (software repository manager).
Entwickler bezeichnen Software als Cloud-Native, welche die Vorteile der Cloud im eigenen Rechenzentrum (Flexibilität, Skalierbarkeit und Reproduzierbarkeit) bieten. Die Software ist daher in der Regel für den Betrieb in Containern (Raspberry Pi - Docker installieren) optimiert und kann somit auf eigenen oder auf gemieteten Servern laufen.
Hier erfolgt eine Isolierung von Anwendungen mit Hilfe von Containervirtualisierung (siehe z.B. Raspberry Pi - Docker Compose installieren). Sie nutzen den Kernel des darunterliegenden Betriebssystems und blockieren somit keinen Arbeitsspeicher und haben nur eine sehr geringe Bootzeit. Alle Abhängigkeiten sind enthalten, dadurch lassen sich Container schnell starten, vervielfältigen, auf anderen Servern oder auch ganze Rechenzentren übertragen.
Die Entwickler und der Betrieb / Service einer Software (Development und Operations) werden bei diesem Modell nicht hart getrennt, sondern arbeiten eng miteinander zusammen. Flexible Mietserver und Konzepte aus dem Cloudumfeld (zum Beispiel CI/CD) unterstützen dabei, die DevOps Methoden umzusetzen.
In der Regel wird nicht die komplette Serverinfrastruktur eines vorhandenen Rechenzentrums durch Cloud-Infrastruktur ersetzt. Dies ist vor allem der Fall, wenn es um besonders sensible Daten geht. Die lokale Software sollte aber idealerweise "Cloud-Native" sein, damit Hybride Strategien gut funktionieren. Die restliche Software kann dann in der flexiblen Public Cloud betrieben werden.
