Thomas Joos

Bei Amazon Web Services gibt es mehrere kostenlose Dienste für Machine Learning, die es Benutzern ermöglichen, Modelle zu erstellen, zu trainieren und bereitzustellen. Wir geben in diesem Beitrag einen Überblick zu den Möglichkeiten.

In der neuen Nextcloud-Version 26 haben die Entwickler KI-Funktionen sehr viel enger integriert, als in den vorherigen Versionen. Damit lassen sich Daten besser verwalten, schneller zu finden und Dokumente schneller erstellen. Wir zeigen, was wichtig ist.

Mit MindsDB ML-SQL Server können Entwickler Abläufe für Programme und Modelle in den Bereichen Künstliche Intelligenz (KI) und Machine Learning (ML) über SQL abwickeln. Dadurch lassen sich zum Beispiel Modelle als KI-Tabellen bereitstellen. Das ermöglicht beispielsweise umfassende Prognosen für komplexe Daten.

Durch die Beteiligung an OpenAI darf Microsoft die KI-Funktionalitäten von ChatGPT und anderen Sprachmodellen nutzen. Mit einem darauf basierenden Azure-Cloud-Dienst können Developer eigene Programme mit KI-Funktionen erstellen.

Rapids ist eine Software-Suite, die auf die grafikprozessorbeschleunigten Bibliotheken Nvidia Cuda-X-AI aufbaut. Diese kommen vor allem bei Berechnungen im Bereich KI/ML, HPC und zur Datenanalyse zum Einsatz. Rapids verkürzt Berechnungen von Tagen auf Minuten.

Mit Intel OneAPI bietet der Prozessorgigant aus den USA Entwicklungswerkzeuge an, mit denen sich vor allem Hochleistungs-Apps entwickeln lassen, die auf verschiedenen Architekturen laufen. Im Fokus steht dabei die Entwicklung mit einer einzelnen Anwendungsschnittstelle.

Schnellere Antwortzeiten, Zugriff auch bei Leistungsspitzen und bevorzugter Zugriff auf neue Funktionen bleibt in Zukunft Abonnenten vorbehalten. Der Free Plan steht aber weiterhin auch kostenlos zur Verfügung.

In den vergangenen Monaten hat wohl kein KI-Tool solche Wellen geschlagen wie ChatGPT von OpenAI. Microsoft arbeitet eng mit den Entwicklern von ChatGPT zusammen und integriert das KI-Tool als Cloud-Dienst in Azure. Geplant sind weitere Integrationen in Office, Bing und andere Microsoft-Programme.

GitHub unterstützt mit seinem neuen Copilot-Dienst bei der Entwicklung von Apps für die Datenanalyse. Copilot ist vor allem für Anfänger hilfreich, sodass Analysten und Datenwissenschaftler optimalen Code entwickeln können, ohne die Programmiersprache perfekt beherrschen zu müssen.

Wer sich mit Künstlicher Intelligenz (KI) und Machine Learning (ML) oder auch mit Programmen im Bereich Statistik, Mathematik, Analyse oder Data Mining beschäftigt, sollte sich die Möglichkeiten der Python-Library scikit-learn anschauen. Der Beitrag gibt einen Überblick.

Das kostenlose Java-Tool OpenRefine kann Daten aus verschiedenen Quellen importieren und auch direkt mit Datenbanken kommunizieren. Das Tool kann darüber hinaus die importierten Daten bereinigen, transformieren, gliedern und für andere Lösungen bereitstellen.

Mit Redash können verschiedene Datenquellen angebunden und über Dashboards visualisiert werden. Es können parallel auch mehrere Datenquellen zusammengefasst werden. Der Betrieb der Lösung ist auch mit Docker möglich.

Mit Atlas.ti können Analysten und Datenwissenschaftler sehr große Mengen an strukturierten oder unstrukturierten Daten hochprofessionell qualitativ analysieren. Vor allem Wissenschaftler nutzen das Tool für ihre Analysen im Bereich Medizin, Kriminologie, Wirtschaft oder anderen Bereichen, in den große Datenmengen anfallen. Auch in sozialen Wissenschaften kommt das Tool häufig zum Einsatz.

Mit StreamSets Transformer kann modernes ETL auch mit Apache Spark zum Einsatz kommen. Sinnvolles Einsatzgebiet ist zum Beispiel das Trainieren von ML-Modellen oder das Sammeln von Daten aus verschiedenen Cloud-Plattformen.

Für eine effektive, schnelle und unmittelbarer Verarbeitung von Daten zur Analyse ist Data Streaming eine enorm wichtige und interessante Vorgehensweise. Apache Flink ist ein Open Source Tool, das diese Möglichkeiten bietet.

Apache Beam ermöglicht als Parallel Computing Framework das Verarbeiten von nahezu unbegrenzten Datenmengen. Die Open Source Software bietet über verschiedene SDKs das Definieren von Batch-Pipelines oder Pipelines für Streaming-Data-Processing und unterstützt Hadoop, Spark und andere Engines.

Apache Heron ist ein Open Source Tool, das ursprünglich von Twitter entwickelt wurde, um umfassende Datenmengen zu analysieren. Im Fokus stehen dabei vor allem große Datenmengen, die in kurzer Zeit analysiert werden sollen.

Die bisher als PrestoSQL bekannte SQL-Abfrage-Engine trägt jetzt den Namen Trino. Aktuell nutzen Unternehmen wie LinkedIn, Netflix, Slack, Comcast, Nordstrom und viele andere die Möglichkeiten von Trino.

Presto ermöglicht die direkte Abfrage von Daten aus verschiedenen Datenquellen. Dabei lassen sich auch umfangreiche Datenmengen analysieren und auswerten. Das Tool bietet einen ähnlichen Leistungsumfang wie kommerzielle Data-Warehouse-Lösungen.

Die Graphendatenbank Dgraph ist die beliebteste Datenbank ihrer Art auf GitHub. Der Beitrag zeigt, was die Datenbank kann.

Google hat mit Logica eine neue Programmiersprache veröffentlicht, die bei der Datenanalyse und -Verarbeitung ein wertvolles Hilfsmittel ist. Logica steht als Open Source unter der Apache-2-Lizenz zur Verfügung.

Mit der Programmiersprache Go lassen sich kleinere Programme genauso einfach entwickeln wie komplexe Anwendungen. Im Fokus von Go steht die plattformübergreifende Entwicklung.

Apache Calcite ist ein Open-Source-Framework auf Java-Basis für die dynamische Verwaltung von Daten. Das Framework unterstützt Anwendungen bei der Verwendung von verschiedenen Datenquellen. Calcite selbst speichert keine Daten.

AWS ist die Cloud-Infrastruktur mit dem größten Marktanteil. Das liegt unter anderem auch daran, dass es in der Cloudplattform umfassende Möglichkeiten zur Analyse von Daten gibt. Wir geben in diesem Beitrag einen Überblick.

Zeitreihendatenbanken sind darauf spezialisiert, große Datenmengen, die teilweise in Echtzeit eingehen, schnell speichern zu können. Ideal ist das für Sensordaten und andere Informationen in Internet-of-Things-Infrastrukturen. Der Beitrag gibt einen Überblick über bekannte Datenbanken in diesem Segment.

Apache Druid ist ein Open-Source-Analysespeicher, der Business-Intelligence-Abfragen von Ereignisdaten mit geringer Latenz ermöglicht. Echtzeitzugriffe sind genauso möglich wie eine schnelle Datenaggregation.

Fallen in kurzer Zeit große Datenmengen an, ist eine Datenbank notwendig, die mit großen Datenmengen umgehen kann und gleichzeitig eine hohe Leistung bietet. InfluxDB ist ein Datenbanksystem, das genau für dieses Einsatzgebiet optimiert worden ist.

Unternehmen, die eine IoT-Infrastruktur betreiben, zum Beispiel auch bei der Vernetzung von Sensoren, benötigen eine Plattform für die zentrale Verwaltung und Steuerung. Hier ist Azure Sphere eine Möglichkeit. Mit Azure Sphere Security Service kann hier auch für mehr Sicherheit gesorgt werden.

Bei der Analyse von Daten spielt die Visualisierung eine wichtige Rolle. Mit Datawrapper Core gibt es einen kostenlosen Dienst, der bei der Visualisierung von analysierten Daten wertvolle Hilfe bieten kann.

Mit Kajero erhalten Data Scientists eine Open-Source-Notebook-Lösung auf Basis von Javascript. Die Einträge können über GitHub weitergegeben werden. Kajero bietet die Unterstützung für zahlreiche Graphen, D3, NVD3 und Jutsu.

Bei Big Data spielen Open-Source-Lösungen eine besondere Rolle. Das liegt unter anderem daran, dass große Unternehmen Big-Data-Lösungen entwickeln und dann der Community zur Verfügung stellen, um diese zu verbessern.

Mit Windows 10 IoT Core stellt Microsoft eine Windows-10-Version zur Verfügung, die für Geräte ohne Monitor entwickelt wurde. Da auch diese Version die Universal Windows Platform nutzt, ist deren Einsatzgebiet sehr flexibel.

Auf den meisten Webseiten wird auf Google Analytics gesetzt, um die Besucher und Zugriffsdaten zu analysieren. Es gibt allerdings durchaus interessante Alternativen zum Marktführer.

Auf Kaggle lassen sich Jupyter Notebook ohne Einrichtung online erstellen. Mittlerweile gehört Kaggle zu Google. Im Fokus stehen Dienstleistungen rund um das Thema Big Data, Machine Learning und Data Mining.

Mit GPT4All steht ein kostenloser Chatdienst zur Verfügung, der sich im lokalen Netzwerk betreiben lässt. Der Dienst benötigt weder eine Internetverbindung noch eine besonders schnelle GPU. Das ist für Unternehmen auch bezüglich des Datenschutzes interessant.

Mit Azure Synapse Analytics bietet Microsoft einen Analysedienst, der die Vorteile von Data Warehouses und Big-Data-Analysen miteinander kombiniert.

Das kleine Tool SOFA kann dabei helfen, Daten einfacher zu analysieren. Das Tool steht kostenlos zur Verfügung und kann auch ungeübten Anwendern ermöglichen, Daten einfacher und schneller zu analysieren.

Die Open Source Software PSPP stellt einen kompatiblen Ersatz für die Analyse-Software SPSS dar. Die Funktionen sind zwar etwas eingeschränkt, aber die Datenbasis ist identisch.

Unternehmen, die auf künstliche Intelligenz (KI) und Machine-Learning (ML) im Netzwerk setzen, müssen darauf achten, dass die eingesetzte Storage-Lösung schnell genug ist, um die Daten für Lösungen im KI-/ML-Bereich zur Verfügung zu stellen. Auch die Kapazität spielt eine Rolle.

Bei der Analyse von Daten spielt die Visualisierung eine wichtige Rolle. Mit Datawrapper Core gibt es einen kostenlosen Dienst, der bei der Visualisierung von analysierten Daten wertvolle Hilfe bieten kann.

Im Bereich IoT lassen sich KI und Blockchain durchaus gemeinsam betreiben, um Smarte Geräte und vor allem Mikro-Transaktionen einfacher zu verwalten. Die drei Bereich IoT, KI und Blockchain arbeiten dazu perfekt zusammen.

Apache Druid ist ein Open-Source-Analysespeicher, der Business-Intelligence-Abfragen von Ereignisdaten mit geringer Latenz ermöglicht. Echtzeitzugriffe sind genauso möglich wie eine schnelle Datenaggregation.

Das Apache-Toplevel-Projekt Zeppelin bietet ein Notizbuch für Daten aus anderen Systemen, mit denen Anwender diese effektiv analysieren können. Zeppelin arbeitet dazu eng mit Spark, Flink und Hadoop zusammen.

Die Big-Data-Cloud-Lösung Qubole ist in der Lage, sehr effektiv große und auch unstrukturierte Datenströme von verschiedenen Quellen zusammenzufassen und zu analysieren. Der Dienst steht auch Azure, Google Cloud und AWS zur Verfügung.

Bei der Datenverarbeitung von Big Data spielen vor allem NoSQL-Datenbanken eine wichtige Rolle. Diese können im Vergleich zu relationalen Datenbanken große Datenmengen oft schneller verarbeiten. Aber auch relationale Datenbanken bieten Möglichkeiten. Wir zeigen, worauf Unternehmen achten sollten.

Grok 3 steht derzeit kostenfrei für Nutzer von X zur Verfügung, allerdings nur vorübergehend. Elon Musk kündigt bereits an, dass der Zugriff später auf zahlende Abonnenten beschränkt werde. Schon jetzt unterscheidet xAI zwischen freien Nutzern, Premium+ und der neuen Stufe „SuperGrok“. Wer nicht zahlt, darf alle zwei Stunden zehn Textanfragen und zehn Bildgenerierungen absenden. Die Bildanalyse ist auf drei Durchgänge pro Tag beschränkt. Eine erweiterte Nutzung erfordert mindestens den Premium+-Zugang.

Microsoft stellt mit Azure Databricks eine Analyseplattform in Microsoft Azure zur Verfügung, die auf der bekannten Analysesoftware Apache Spark aufbaut. Bei der Entwicklung der Plattform haben die Entwickler von Spark mitgearbeitet.

Big Data erfordert leistungsfähige Server und Anwendungen, die eine große Menge an Daten effizient verarbeiten können. Dafür eignen sich Cloud-Dienste wie die Google Cloud Platform hervorragend.

Mit Apache Storm lassen sich Daten in Big-Data-Systemen in Echtzeit verarbeiten. Das Tool arbeitet mit verschiedenen Datenquellen zusammen und fügt sich optimal in Hadoop-Umgebungen ein.

Damit die enormen Datenmengen in Big-Data-Umgebungen optimal und vor allem verlässlich verarbeitet werden können, muss sichergestellt sein, dass die Daten belastbar, verlässlich und vor allem auch aussagekräftig sind.

Mit Auto-GPT können Anwender KI-Aufgaben vollständig automatisieren. Dazu kann die kostenlose Open Source Software selbstständig Prompts erstellen und auch komplexe Aufgaben durch Stapelverarbeitung und Python-Skripte automatisch abwickeln. GPT4All ermöglicht wiederum den Betrieb einer eigenen KI ohne Internetanbindung.

Mit Redash können verschiedene Datenquellen angebunden und über Dashboards visualisiert werden. Es können parallel auch mehrere Datenquellen zusammengefasst werden. Der Betrieb der Lösung ist auch mit Docker möglich.

ChatGPT kann auch dazu genutzt werden komplexere Protokolle, Fragmente oder Firewall-Logs auf verdächtige Aktionen zu durchsuchen. Dadurch lassen sich auch unübersichtliche, komplexe oder unvollständige Daten zur Informationsgewinnung nutzen.

Für eine effektive, schnelle und unmittelbarer Verarbeitung von Daten zur Analyse ist Data Streaming eine enorm wichtige und interessante Vorgehensweise. Apache Flink ist ein Open Source Tool, das diese Möglichkeiten bietet.

Mit der NoSQL-Datenbank Firestore bietet Google eine cloudbasierte Datenbank für IoT- oder andere mobile Anwendungen sowie Web-Apps an.

Microsoft bietet mit seinem Cloud-Dienst Azure eine ideale Plattform für zahlreiche Cloud-Dienste. Interessant wird Azure etwa in Kombination mit der Open-Source-Lösung Apache Spark, mit der Unternehmen interaktive Analysen mit In-Memory-Technik durchführen können.

Mit Kajero erhalten Data Scientists eine Open-Source-Notebook-Lösung auf Basis von Javascript. Die Einträge können über GitHub weitergegeben werden. Kajero bietet die Unterstützung für zahlreiche Graphen, D3, NVD3 und Jutsu.

Auto-GPT nutzt das gleiche KI-Modell wie ChatGPT, bietet aber mehr Möglichkeiten und Funktionen. Das Open-Source-KI-Tool erledigt automatisiert Aufgaben auf Basis von GPT-3 und GPT-4. Dabei kann es komplett autonom arbeiten.

OpenAI hat sein neues Flagschiff-KI-Modell GPT-4.5 „Orion“ vorgestellt. Darüber hinaus soll ein interaktiver KI-Agent erscheinen, den OpenAI für den Preis von 20.000 US-Dollar pro Monat im Abonnement bereitstellen will.

Um Daten mit R zu analysieren, mussten die Daten früher extra aus der Datenbank exportiert und in R importiert werden. Seit Microsoft SQL Server 2016 lassen sich R-Skripte aber direkt auf dem Datenbankserver ausführen.

Google bietet mit seinem neuen Data Studio ein Webtool an, das verschiedene Datenquellen anbinden kann, um Berichte zu erstellen und Daten zu visualisieren.

Apache Beam ermöglicht als Parallel Computing Framework das Verarbeiten von nahezu unbegrenzten Datenmengen. Die Open Source Software bietet über verschiedene SDKs das Definieren von Batch-Pipelines oder Pipelines für Streaming-Data-Processing und unterstützt Hadoop, Spark und andere Engines.

Tableau Public ist eine kostenlose Version der Tableau-Software, die speziell dafür entwickelt wurde, datengetriebene Visualisierungen öffentlich zu teilen. Nutzer von Tableau Public können interaktive Diagramme, Karten und Dashboards erstellen und diese auf der Tableau Public-Plattform mit anderen teilen.

Graphy ist ein KI-gestütztes Tool, mit dem Nutzer professionelle, interaktive und ansprechende Diagramme und Grafiken erstellen können. Die Lösung stellt auch Vorlagen zur Verfügung, mit denen schnell verschiedene Diagramme aus unterschiedlichen Datenquellen erstellt werden können.

Wer sich mit Künstlicher Intelligenz (KI) und Machine Learning (ML) oder auch mit Programmen im Bereich Statistik, Mathematik, Analyse oder Data Mining beschäftigt, sollte sich die Möglichkeiten der Python-Library scikit-learn anschauen. Der Beitrag gibt einen Überblick.

Microsoft hat in Office 365 einige Funktionen integriert, mit denen sich Business-Intelligence-Funktionen umfassend nutzen lassen. Als Datenspeicher lassen sich Cloud-Server, Microsoft Azure, oder lokale Server nutzen.

DeviceHive ist eine der bekanntesten Lösungen, um internetfähige Geräte in IoT-Umgebungen zentral zu integrieren. Mit der Cloud-basierten Lösung können Smart-Home-Geräte und Sensoren automatisiert werden.

Google hat mit Logica eine neue Programmiersprache veröffentlicht, die bei der Datenanalyse und -Verarbeitung ein wertvolles Hilfsmittel ist. Logica steht als Open Source unter der Apache-2-Lizenz zur Verfügung.

AWS ist die Cloud-Infrastruktur mit dem größten Marktanteil. Das liegt unter anderem auch daran, dass es in der Cloudplattform umfassende Möglichkeiten zur Analyse von Daten gibt. Wir geben in diesem Beitrag einen Überblick.

Mit MindsDB ML-SQL Server können Entwickler Abläufe für Programme und Modelle in den Bereichen Künstliche Intelligenz (KI) und Machine Learning (ML) über SQL abwickeln. Dadurch lassen sich zum Beispiel Modelle als KI-Tabellen bereitstellen. Das ermöglicht beispielsweise umfassende Prognosen für komplexe Daten.

Im Fokus von R steht die Analyse von Daten. Dazu werden mithilfe von Operatoren und Funktionen selbstredend auch Berechnungen durchgeführt. In diesem Beitrag geben wir einen ersten Einstieg zu diesem Bereich in R.

Die bisher als PrestoSQL bekannte SQL-Abfrage-Engine trägt jetzt den Namen Trino. Aktuell nutzen Unternehmen wie LinkedIn, Netflix, Slack, Comcast, Nordstrom und viele andere die Möglichkeiten von Trino.

Es gibt immer wieder Diskussionen darüber, ob die Analyse von Webseiten über Google Analytics konform mit der DSGVO ist, da Webseitenbetreiber keinerlei Kontrolle über die Daten haben, die Google erfasst. Mit Matomo gibt es aber eine DSGVO-konforme Alternative.

Zeitreihendatenbanken sind darauf spezialisiert, große Datenmengen, die teilweise in Echtzeit eingehen, schnell speichern zu können. Ideal ist das für Sensordaten und andere Informationen in Internet-of-Things-Infrastrukturen. Der Beitrag gibt einen Überblick über bekannte Datenbanken in diesem Segment.

Presto ermöglicht die direkte Abfrage von Daten aus verschiedenen Datenquellen. Dabei lassen sich auch umfangreiche Datenmengen analysieren und auswerten. Das Tool bietet einen ähnlichen Leistungsumfang wie kommerzielle Data-Warehouse-Lösungen.

Die Graphendatenbank Dgraph ist die beliebteste Datenbank ihrer Art auf GitHub. Der Beitrag zeigt, was die Datenbank kann.

Numerous.ai ist eine recht neue Erweiterung für Google Sheets bzw. Tabellen und ermöglicht es, Antworten der KI direkt in Zellen anzuzeigen. Das verknüpft die Funktionen einer Tabellenkalkulation mit den Möglichkeiten einer KI. Der Beitrag zeigt, was dabei beachtet werden muss und wie die Erweiterung funktioniert.

Apache Flume erlaubt das umfassende Sammeln von Daten, vor allem im Bereich Streaming-Event-Daten. Die Daten lassen sich in Hadoop Cluster übertragen und auf diesem Weg effizient weiterverarbeiten. Viele Anbieter von Big-Data-Lösungen, darunter Cloudera, unterstützen bereits Flume.

In Microsoft Azure gibt es neben HDInsight noch einige weitere interessante Big-Data- und BI-Dienste, die sich in die eigene Infrastruktur einbinden lassen: Stream Analytics, Data Factory, Data Catalog und Event Hubs. Diese Dienste erlauben umfangreiche Datenanalysen und arbeiten mit HDInsight und anderen Azure-Diensten optimal zusammen.

Fallen in kurzer Zeit große Datenmengen an, ist eine Datenbank notwendig, die mit großen Datenmengen umgehen kann und gleichzeitig eine hohe Leistung bietet. InfluxDB ist ein Datenbanksystem, das genau für dieses Einsatzgebiet optimiert worden ist.