Überall auf der Welt sind Regenwälder und andere Naturlandschaften durch illegalen Bergbau gefährdet, der ehemals artenreiche Gebiete in Ödland verwandelt. Damit lokale Regierungen Gegenmaßnahmen ergreifen können, müssen sie zuerst über die Standorte der illegalen Minen Bescheid wissen. In Ländern, die von riesigen Gebieten nahezu undurchdringlichen Regenwalds bedeckt sind, wie z.B. Brasilien oder Kongo, ist die Beschaffung dieser Informationen ein schwieriges Problem. In diesem Blog-Beitrag beschreibe ich einen Ansatz zur Erkennung illegaler Minen, der auf Deep Learning und Fernerkundung basiert und den wir entwickelt haben, um die Naturschutzbemühungen von Regierungen und NGOs zu unterstützen. Insbesondere verwenden wir ein U-Net für die semantische Segmentierung , einen Zweig der Computervision. Im Rahmen des Projekts zur automatischen Erkennung von Kleinbergbau wurden wir auch von Wissenschaftlern des Institute of Mineral Resources Engineering (MRE) der RWTH Aachen unterstützt, die ihr bergbauspezifisches Fachwissen einbrachten. Das Projekt wurde von der European Space Agency (ESA) finanziert.

Im vorherigen Beitrag haben wir die Grundlagen des Reinforcement Learning (RL) und die Art des Problems, auf das es angewendet werden kann, vorgestellt. Das diskutierte Setting war insofern begrenzt, als wir es mit einem einzelnen Agenten zu tun hatten, der in einer stationären Umgebung agiert. Jetzt gehen wir einen Schritt weiter und diskutieren das Multi-Agent Reinforcement Learning ( MARL ). Hier haben wir es mit mehreren explizit modellierten Agenten in derselben Umgebung zu tun, daher ist jeder Agent Teil der Umgebung, wie er von allen anderen wahrgenommen wird. Da alle Agenten im Laufe der Zeit lernen und anfangen, sich unterschiedlich zu verhalten, wird die Annahme einer stationären Umgebung verletzt.

Im vorherigen Beitrag haben wir die Grundlagen des Reinforcement Learning (RL) und die Art des Problems, auf das es angewendet werden kann, vorgestellt. Das diskutierte Setting war insofern begrenzt, als wir es mit einem einzelnen Agenten zu tun hatten, der in einer stationären Umgebung agiert. Jetzt gehen wir einen Schritt weiter und diskutieren das Multi-Agent Reinforcement Learning ( MARL ). Hier haben wir es mit mehreren explizit modellierten Agenten in derselben Umgebung zu tun, daher ist jeder Agent Teil der Umgebung, wie er von allen anderen wahrgenommen wird. Da alle Agenten im Laufe der Zeit lernen und anfangen, sich unterschiedlich zu verhalten, wird die Annahme einer stationären Umgebung verletzt.

In diesem Artikel werden wir einen genaueren Blick auf BERT werfen - ein hochmodernes Modell für eine Reihe verschiedener Probleme bei der Verarbeitung natürlicher Sprache. BERT wurde von Google entwickelt und 2018 veröffentlicht und wird zum Beispiel in Googles Suchmaschine verwendet . Der Begriff BERT ist ein Akronym für den Begriff Bidirectional Encoder Representations from Transformers , der zunächst recht kryptisch erscheinen mag. Der Artikel ist in zwei Teile gegliedert: Im ersten Teil werden wir sehen, wie BERT funktioniert, und im zweiten Teil werden wir uns einige seiner praktischen Anwendungen ansehen - insbesondere werden wir das Problem der automatisierten Beantwortung von Fragen untersuchen.

In einem vorherigen Blog-Beitrag haben wir die Fülle menschlicher Vorurteile erläutert, die in realen Datensätzen oft vorhanden sind. Da Praktiker gezwungen sein können, mit verzerrten Daten zu arbeiten, ist es wichtig zu wissen, wie die Fairness von Modellentscheidungen dennoch gewährleistet werden kann. In diesem Beitrag erkläre ich daher die wichtigsten Ideen rund um Fairness beim maschinellen Lernen (ML). Dazu gehört eine kurze Zusammenfassung der wichtigsten Metriken zur Messung der Fairness Ihrer Modellentscheidungen und ein Überblick über Tools, die Ihnen helfen können, die Fairness Ihres Modells zu garantieren oder zu verbessern. Notiz: Wenn Sie an einem 30-minütigen Gespräch mit einem unserer Machine-Learning-Experten zum Thema KI-Fairness und Biases interessiert sind, schauen Sie sich gerne unser Angebot eines kostenlosen ML-Expert-Talks an.

Datensätze sind für die Forschung und die Entwicklung von Modellen in den Bereichen der natürlichen Sprachverarbeitung (NLP) und des maschinellen Lernens (ML) unerlässlich. Mit der zunehmenden Nutzung, Sammlung und Speicherung von Daten nehmen jedoch auch die Bedenken hinsichtlich des Datenschutzes zu. Um mit bewährten Methoden ("best practice") in Einklang zu stehen, ist es wichtig zu verstehen, was Datenschutz bedeutet und wie er geregelt wird. Dieser Beitrag bietet daher einen kurzen Überblick darüber, wie der Datenschutz in der Europäischen Union geregelt ist. Neben der Einhaltung der EU-Vorschriften müssen datengesteuerte Projekte auch ethisch verantwortungsvoll sein. Daher endet dieser Artikel mit einigen Worten zur Ethik bei der Verarbeitung personenbezogener Daten.

Angenommen, Sie arbeiten an einem NLP -Projekt. Ihre Eingabedaten sind wahrscheinlich Dateien wie PDF, JPG, XML, TXT oder ähnliches und es gibt eine Menge davon. Es ist nicht ungewöhnlich, dass in großen Datenbeständen einige Dokumente mit unterschiedlichen Namen exakt den gleichen Inhalt haben, d.h. es handelt sich um Duplikate. Dafür kann es verschiedene Gründe geben. Der wohl häufigste ist die fehlerhafte Speicherung und Archivierung der Dokumente. Unabhängig von der Ursache ist es wichtig, die Duplikate zu finden und aus dem Datensatz zu entfernen, bevor Sie mit dem Labeling der Dokumente beginnen. In diesem Blogbeitrag werde ich kurz demonstrieren, wie der Inhalt verschiedener Dateien mit Hilfe des Python-Moduls filecmp verglichen werden kann. Nachdem die Duplikate identifiziert wurden, werde ich zeigen, wie sie automatisch gelöscht werden können.

In NLP -Projekten hat man es oft mit PDFs als Ausgangsdokumenten zu tun. Manchmal enthalten die PDFs bereits zugrundeliegende Textinformationen, wodurch es möglich ist, Text ohne den Einsatz von OCR-Werkzeugen zu extrahieren. Im Folgenden möchte ich einige Open-Source-PDF-Werkzeuge vorstellen, die in Python verfügbar sind und mit denen sich Text extrahieren lässt. Ich werde ihre Eigenschaften vergleichen und auf ihre jeweiligen Vor- und Nachteile hinweisen. Die Tools heißen PyPDF2 , pdfminer und PyMuPDF . Es gibt andere Python-PDF-Bibliotheken, die entweder nicht in der Lage sind, Text zu extrahieren oder sich auf andere Aufgaben konzentrieren. Darüber hinaus gibt es Werkzeuge, die in der Lage sind, Text aus PDF-Dokumenten zu extrahieren, die aber in Python nicht verfügbar sind. Auf beide wird hier nicht eingegangen. Besuchen Sie außerdem die vergangenen dida-Projekte, in denen wir eine Informationsextraktion mit KI für Produktbeschreibungen, eine Informationsextraktion aus Kundenanfragen oder eine Informationsextraktion aus PDF-Rechnungen entwickelt haben.

Mussten Sie schon einmal Daten über ein Objekt aus zwei verschiedenen Quellen kombinieren, zum Beispiel Bilder und Text? Bei unserer Arbeit bei dida stehen wir oft vor solchen Herausforderungen. Hier stellen wir ein Beispiel aus dem Bereich technischer Zeichnungen vor. Solche Zeichnungen werden in vielen Bereichen von Fachleuten verwendet, um Informationen auszutauschen. Sie bestehen aus Zeichnungen, die ganz bestimmten Richtlinien folgen, damit jeder Fachmann verstehen kann, was darauf abgebildet ist. Normalerweise liegen technische Zeichnungen in Formaten vor, die eine Indizierung ermöglichen, wie z. B. svg, html, dwg, dwf, usw., aber viele, vor allem ältere, existieren nur im Bildformat (jpeg, png, bmp, usw.), z. B. aus Buchscans. Auf diese Art von Zeichnungen kann man nur schwer automatisch zugreifen, was ihre Verwendung schwierig und zeitaufwändig macht. Hier könnten automatische Erkennungstools eingesetzt werden, um die Suche zu erleichtern. In diesem Blogpost zeigen wir, wie sowohl traditionelle als auch Deep-Learning-basierte Computer-Vision-Techniken für die Informationsextraktion aus Explosionszeichnungen eingesetzt werden können. Wir gehen davon aus, dass eine solche Zeichnung zusammen mit einigen textuellen Informationen für jedes Objekt auf der Zeichnung gegeben ist. Die Objekte können durch Nummern, die mit ihnen verbunden sind, identifiziert werden. Hier ist ein recht einfaches Beispiel für eine solche Zeichnung: Eine elektrische Bohrmaschine. Auf jeder Zeichnung gibt es drei Hauptkomponenten: Die Zahlen, die Objekte und die Hilfslinien. Die Hilfslinien werden verwendet, um die Objekte mit den Zahlen zu verbinden. Die vorliegende Aufgabe besteht darin, alle Objekte einer bestimmten Art / Klasse über eine große Anzahl von Zeichnungen zu finden , z. B. die Buchse mit der Nummer 653 im obigen Bild kommt in mehreren Zeichnungen und sogar in Zeichnungen anderer Hersteller vor. Dies ist eine typische Klassifizierungsaufgabe, allerdings mit einer Einschränkung: Da es zu jedem Objekt zusätzliche Informationen gibt, die über die Nummern zugänglich sind, müssen wir zunächst jede Nummer auf dem Bild dem entsprechenden Objekt zuordnen . Im Folgenden beschreiben wir, wie diese Zusatzaufgabe mit Hilfe traditioneller Computer-Vision-Techniken gelöst werden kann.

Die Automatisierung von Prozessen mithilfe von Machine Learning (ML) kann die Effizienz eines Systems über menschliche Kapazitäten hinaus steigern und wird daher in vielen Branchen immer beliebter. Doch zwischen einer Idee und einem gut definierten Projekt gibt es einige Punkte, die berücksichtigt werden müssen, um das wirtschaftliche Potenzial und die technische Komplexität des Projekts richtig einzuschätzen. Gerade für Unternehmen wie dida, die individuelle Workflow-Automatisierungssoftware anbieten, hilft ein gut vorbereitetes Projekt dabei, die Machbarkeit und die technische Gesamtkomplexität der Projektziele schnell einzuschätzen - was es wiederum ermöglicht, Software entwicklen, die den Anforderungen des Kunden gerecht wird. In diesem Artikel besprechen wir, welche Themen im Vorfeld berücksichtigt werden sollten und warum die Fragen, die wir stellen, wichtig sind, um ein erfolgreiches ML-Softwareprojekt zu starten.

Überall auf der Welt sind Regenwälder und andere Naturlandschaften durch illegalen Bergbau gefährdet, der ehemals artenreiche Gebiete in Ödland verwandelt. Damit lokale Regierungen Gegenmaßnahmen ergreifen können, müssen sie zuerst über die Standorte der illegalen Minen Bescheid wissen. In Ländern, die von riesigen Gebieten nahezu undurchdringlichen Regenwalds bedeckt sind, wie z.B. Brasilien oder Kongo, ist die Beschaffung dieser Informationen ein schwieriges Problem. In diesem Blog-Beitrag beschreibe ich einen Ansatz zur Erkennung illegaler Minen, der auf Deep Learning und Fernerkundung basiert und den wir entwickelt haben, um die Naturschutzbemühungen von Regierungen und NGOs zu unterstützen. Insbesondere verwenden wir ein U-Net für die semantische Segmentierung , einen Zweig der Computervision. Im Rahmen des Projekts zur automatischen Erkennung von Kleinbergbau wurden wir auch von Wissenschaftlern des Institute of Mineral Resources Engineering (MRE) der RWTH Aachen unterstützt, die ihr bergbauspezifisches Fachwissen einbrachten. Das Projekt wurde von der European Space Agency (ESA) finanziert.

In diesem Blogbeitrag werde ich eine Reihe von Pretraining-Aufgaben beschreiben, die man entweder einzeln oder in Kombination verwenden kann, um gute "Start"-Gewichte zu erhalten, bevor man ein Modell auf dem eigentlichen gelabelten Datensatz trainiert. Typischerweise fallen Fernerkundungsaufgaben unter den Begriff der semantischen Segmentierung, daher sind alle hier beschriebenen Pretraining-Aufgaben für Aufgaben gedacht, die eine Vorhersage für jedes Pixel ausgeben und ein U-Net als Architektur verwenden.

Jeder, der heutzutage ein Machine Learning (ML)-Modell trainieren möchte, hat eine Vielzahl von Python-Frameworks zur Auswahl. Wenn es jedoch darum geht, das trainierte Modell in einer Nicht-Python-Umgebung einzusetzen, sinkt die Anzahl der Optionen schnell. Glücklicherweise gibt es Tensorflow.js , eine JavaScript (JS)-Untermenge des beliebten Python-Frameworks mit dem gleichen Namen. Durch die Konvertierung eines Modells, so dass es vom JS-Framework geladen werden kann, kann die Inferenz in einem Webbrowser oder einer mobilen Anwendung effektiv durchgeführt werden. Das Ziel dieses Artikels ist es, zu zeigen, wie man ein Modell in Python trainiert und es dann als JS-App bereitstellt, die online vertrieben werden kann.

Da nicht nur die Komplexität der Machine Learning (ML)-Modelle, sondern auch die Größe der Datensätze weiter wächst, steigt auch der Bedarf an Computerleistung. Während die meisten Laptops heute eine erhebliche Arbeitslast bewältigen können, ist die Leistung für unsere Zwecke bei dida oft nicht ausreichend. Im Folgenden führen wir Sie durch einige der häufigsten Engpässe und zeigen, wie Cloud Services helfen die Dinge zu beschleunigen.

Der AI Index Report sammelt Daten über die weltweite Entwicklung von künstlicher Intelligenz (KI). Die diesjährige fünfte Ausgabe der unabhängigen Initiative des Stanford Institute for Human-Centered Artificial Intelligence (HAI) zielt erneut darauf ab, relevante Stakeholder wie politische Entscheidungsträger, Forscher oder verwandte Branchen über die enormen Fortschritte von KI, die technologischen und gesellschaftlichen Stadien der wichtigsten KI-Disziplinen zu informieren und ein Bewusstsein für entstehende Probleme zu schaffen. In diesem Artikel werden wir ausgewählte Kernaussagen des Berichts bzgl. Machine Learning (ML) präsentieren und unsere Perspektive von dida zu den folgenden Themen geben: Forschung und Entwicklung Technische Leistung Technische KI-Ethik Wirtschaft und Bildung KI-Politik und Governance Den vollständigen Bericht finden Sie in der Originalquelle hier .

Im Bereich der künstlichen Intelligenz sind zwei grundlegende Konzepte, Maschinelles Lernen und Deep Learning, als Schlüsselkomponenten für die Weiterentwicklung computerbasierter Lernsysteme hervorgetreten. Maschinelles Lernen dient als grundlegendes Prinzip, bei dem Computer die Fähigkeit erlangen, aus Daten zu lernen, ohne explizit programmiert zu sein. Deep Learning, nutzt künstliche neuronale Netzwerke, die vom menschlichen Gehirn inspiriert sind, um komplexe Datenanalysen durchzuführen. Dieser Artikel geht auf eine umfassende Erforschung dieser Bereiche ein, beleuchtet ihre Unterschiede, praktischen Anwendungen und Bedeutung im Bereich der künstlichen Intelligenz. Notiz: Wenn Sie an einem 30-minütigen Gespräch mit einem unserer Machine-Learning-Experten zum Thema Deep Learning und Machine Learning interessiert sind, schauen Sie sich gerne unser Angebot eines kostenlosen ML-Expert-Talks an.

Im vorherigen Beitrag haben wir die Grundlagen des Reinforcement Learning (RL) und die Art des Problems, auf das es angewendet werden kann, vorgestellt. Das diskutierte Setting war insofern begrenzt, als wir es mit einem einzelnen Agenten zu tun hatten, der in einer stationären Umgebung agiert. Jetzt gehen wir einen Schritt weiter und diskutieren das Multi-Agent Reinforcement Learning ( MARL ). Hier haben wir es mit mehreren explizit modellierten Agenten in derselben Umgebung zu tun, daher ist jeder Agent Teil der Umgebung, wie er von allen anderen wahrgenommen wird. Da alle Agenten im Laufe der Zeit lernen und anfangen, sich unterschiedlich zu verhalten, wird die Annahme einer stationären Umgebung verletzt.

Angenommen, Sie arbeiten an einem NLP -Projekt. Ihre Eingabedaten sind wahrscheinlich Dateien wie PDF, JPG, XML, TXT oder ähnliches und es gibt eine Menge davon. Es ist nicht ungewöhnlich, dass in großen Datenbeständen einige Dokumente mit unterschiedlichen Namen exakt den gleichen Inhalt haben, d.h. es handelt sich um Duplikate. Dafür kann es verschiedene Gründe geben. Der wohl häufigste ist die fehlerhafte Speicherung und Archivierung der Dokumente. Unabhängig von der Ursache ist es wichtig, die Duplikate zu finden und aus dem Datensatz zu entfernen, bevor Sie mit dem Labeling der Dokumente beginnen. In diesem Blogbeitrag werde ich kurz demonstrieren, wie der Inhalt verschiedener Dateien mit Hilfe des Python-Moduls filecmp verglichen werden kann. Nachdem die Duplikate identifiziert wurden, werde ich zeigen, wie sie automatisch gelöscht werden können.

In NLP -Projekten hat man es oft mit PDFs als Ausgangsdokumenten zu tun. Manchmal enthalten die PDFs bereits zugrundeliegende Textinformationen, wodurch es möglich ist, Text ohne den Einsatz von OCR-Werkzeugen zu extrahieren. Im Folgenden möchte ich einige Open-Source-PDF-Werkzeuge vorstellen, die in Python verfügbar sind und mit denen sich Text extrahieren lässt. Ich werde ihre Eigenschaften vergleichen und auf ihre jeweiligen Vor- und Nachteile hinweisen. Die Tools heißen PyPDF2 , pdfminer und PyMuPDF . Es gibt andere Python-PDF-Bibliotheken, die entweder nicht in der Lage sind, Text zu extrahieren oder sich auf andere Aufgaben konzentrieren. Darüber hinaus gibt es Werkzeuge, die in der Lage sind, Text aus PDF-Dokumenten zu extrahieren, die aber in Python nicht verfügbar sind. Auf beide wird hier nicht eingegangen. Besuchen Sie außerdem die vergangenen dida-Projekte, in denen wir eine Informationsextraktion mit KI für Produktbeschreibungen, eine Informationsextraktion aus Kundenanfragen oder eine Informationsextraktion aus PDF-Rechnungen entwickelt haben.