How GitHub harnesses AI to transform customer feedback into action

In der heutigen, sich rasch entwickelnden Technologielandschaft ist der Hype um „generative KI“ nicht zu ignorieren. Sie ist überall – im Fernsehen und in sozialen Medien, in Produktivitätstools, auf Konferenzen, in unseren Telefonen, wo auch immer. Der Hype ist real und was uns bei GitHub begeistert, ist das transformative Potenzial der KI, das wir gerade erst zu erschließen beginnen.

Bei GitHub ist unser Hauptziel die kontinuierliche Verbesserung unserer Plattform, um unserer geliebten Entwickler-Community besser zu dienen. Wir erhalten unzählige Rückmeldungen über unsere Support-Portal jeden Tag. Die schiere Menge an Feedback, die wir erhalten, kann entmutigend sein. Trotz unserer besten Bemühungen ist das manuelle Durchforsten all dieser Textdaten eine überwältigende Herausforderung, die zu vielen ungenutzten Möglichkeiten führt. Die manuelle Datenklassifizierung und -analyse durch Menschen ist fehleranfällig und sehr zeitaufwändig, da dabei oft große Datenmengen verarbeitet werden müssen, was zu Ermüdung und Inkonsistenz führt. Ein Studie der Harvard Business Review zeigt, dass Datenwissenschaftler etwa 80 % ihrer Zeit mit Aufgaben wie Datenerfassung und -organisation verbringen, einschließlich manueller Klassifizierung, was die Effizienz beeinträchtigt und die Entdeckung wertvoller Erkenntnisse verzögert. Diese Ineffizienz führt zu einer Verlagerung hin zu automatisierten Systemen, die eine höhere Genauigkeit und Geschwindigkeit bieten, und weg von traditionellen Analysemethoden.

Diese Herausforderung hat uns dazu veranlasst, leistungsstarke Data-Mining-Techniken mit Algorithmen des maschinellen Lernens zu kombinieren, um Kundenfeedback in großem Umfang zu extrahieren, zu interpretieren und zu analysieren. Indem wir Kundenfeedback mithilfe fortschrittlicher KI-Analysen in umsetzbare Erkenntnisse umwandeln, können wir unsere Produkte weiterentwickeln und unser Engagement für das Vertrauen der Benutzer unterstreichen. So stellen wir sicher, dass jede Stimme gehört und geschätzt wird.

Mit KI die Meinung von Entwicklern verstärken

Obwohl ich eine Leidenschaft für Analysen habe und in der Vergangenheit beim Aufbau mehrerer interner Tools geholfen habe, wusste ich, dass dies aufgrund der Komplexität des in Support-Tickets versteckten Kundenfeedback-Texts keine leichte Aufgabe sein würde. Ich wandte mich an meinen Kollegen, Steven Solomonein festangestellter Softwareentwickler mit umfassender Erfahrung, um mögliche Lösungen zu erkunden. Schließlich kam uns die Inspiration: Was wäre, wenn wir die Leistungsfähigkeit künstlicher Intelligenz nutzen könnten, um das Feedback unserer Entwickler-Community systematisch zu analysieren und zu interpretieren?

Wir begannen dann, den Markt für KI-gestützte Analyselösungen zu erkunden, erkannten jedoch schnell, dass wir ein Tool benötigten, das strenge Sicherheits- und Datenschutzbestimmungen einhielt und maßgeschneiderte Geschäftsmetriken enthielt, um unseren Produktteams eine überzeugende Geschichte erzählen zu können. Wir waren von der Idee inspiriert, dass „Die Fähigkeit, Daten zu visualisieren und mit ihnen Geschichten zu erzählen, ist der Schlüssel, um sie in Informationen umzuwandeln, die zu besseren Entscheidungen führen können.“ (Geschichtenerzählen mit Daten). Von diesem Grundsatz motiviert, haben wir ein Team aus Softwareentwicklern zusammengestellt, die dieselbe Mission und Leidenschaft teilen: ein einzigartiges internes KI-Analysetool zu entwickeln, das die relevantesten und umsetzbarsten Trends präsentiert, komplett mit einem Geschäftskontext, der speziell auf die Produktbereiche von GitHub zugeschnitten ist.

Experimentieren mit Open-Source-Modellen

Als weltweit größtes Open-Source-Code-Ökosystem begann unsere Reise mit KI-gesteuerter Analytik mit der Untersuchung von Open-Source-KI-Modellen, die auf unserer Plattform gehostet werden, einschließlich BERTopic. BERThema ist ein Open-Source-Framework zur Themenmodellierung, das bidirektionale Encoder-Darstellungen von Transformern nutzt (BERT) Einbettungen, um dynamische und interpretierbare Themen zu erstellen. Das BERT-Sprachmodell ist ein Open-Source-Framework für maschinelles Lernen zur Verarbeitung natürlicher Sprache (NLP). BERT wurde entwickelt, um Computern zu helfen, die Bedeutung mehrdeutiger Sprache in Texten zu verstehen, indem es den umgebenden Text zur Kontextherstellung verwendet. BERTopic kombiniert die Fähigkeit von BERT, qualitativ hochwertige Dokumenteinbettungen zu generieren, mit einem Clustering-Algorithmus, typischerweise Hierarchical Density-Based Spatial Clustering of Applications with Noise (HDBSCAN), um ähnliche Dokumente zu gruppieren. Die Themen werden dann abgeleitet, indem die repräsentativsten Wörter aus jedem Cluster extrahiert und aggregiert werden.

Eine der herausragenden Fähigkeiten von BERT ist seine Fähigkeit, mehrere Sprachen zu verstehen und zu verarbeiten. Diese Mehrsprachigkeit resultiert aus dem Training mit unterschiedlichen Datensätzen, die Text in verschiedenen Sprachen enthalten. Dadurch kann BERTopic das Feedback unserer globalen Benutzerbasis effektiv analysieren und Themen und Probleme unabhängig von der Sprache identifizieren, in der das Feedback bereitgestellt wird. Diese Mehrsprachigkeit stellt sicher, dass wir ein umfassendes Bild unseres Benutzerfeedbacks erfassen und so die Bedürfnisse unserer internationalen Community effektiver erfüllen können.

Ein wichtiger Aspekt ist, dass wir keine Modelle mit Kundenfeedback aus Support-Tickets trainieren. Stattdessen verwenden wir die vorab trainierten Modelle, um die Feedback-Textdaten zu analysieren und Erkenntnisse zu generieren.

Die von diesem Modell generierten repräsentativen Wörter gaben unserem Projekt den Startschuss, aber es fehlte noch ein wichtiger Aspekt: ​​Die Ergebnisse mussten für Menschen leicht verständlich sein. Eine Gruppe von Wörtern ist etwas anderes als ein vollständiger repräsentativer Satz über die Probleme des Kunden. Dies führte zur nächsten Entwicklungsphase: der Zusammenfassung dieser Cluster zu umsetzbaren Erkenntnissen.

Erkenntnisse mit GPT-4 zusammenfassen

Schiff zum Lernen

Mit der Einstellung „Ship to Learn“ haben wir uns entschlossen, schnell eine Azure-Daten-Explorer (ADX)-Dashboard für die ersten Tests. Wir entwickelten mehrere Visualisierungen und teilten sie im gesamten Unternehmen, um Feedback zu sammeln. Dieser Prozess half uns herauszufinden, welche Visualisierungen unsere internen Benutzer wertvoll fanden und welche weniger effektiv waren. Es wurde klar, dass wir ein maßgeschneidertes Tool brauchten, das geschäftsspezifischen Kontext in unsere Daten einbezog. Nur dann konnten wir effektiv Geschichten erzählen wie „Hier sind die 10 größten Kundenprobleme in Support-Tickets für Produkt/Funktion X.“ Das bedeutete, dass wir unser eigenes Tool mit erweiterten Filterfunktionen erstellen mussten, um die Feinheiten unserer Feedback-Erkenntnisse effektiv zu navigieren. Darüber hinaus brauchten wir die Möglichkeit, die von unseren internen Systemen generierten Erkenntnisse zu verknüpfen, damit wir Maßnahmen effektiver priorisieren konnten.

Dies war der Beginn der Entwicklung unserer internen Webanwendung zur visuellen Kommunikation von Erkenntnissen. Wir hatten nun die Daten, den Kontext und die effektiven visuellen Elemente. Der letzte Schritt bestand darin, sicherzustellen, dass wir die Aufmerksamkeit unseres Publikums auf die wichtigsten Erkenntnisse lenken. Attribute wie Position auf der Seite, Farbe und Größe können dabei helfen, die Aufmerksamkeit des Publikums auf die wichtigsten Informationen zu lenken. Wieder einmal beschlossen wir, unser minimal funktionsfähiges Produkt (MVP) auszuliefern, um Feedback zu sammeln und die für unsere Produktteams relevantesten visuellen Elemente zu iterieren. Nach seiner offiziellen internen Einführung begann unser Tool, wertvolle Erkenntnisse aus riesigen Textdatensätzen mit Kundenfeedback zu liefern und eine Reihe neuer Anwendungsfälle freizuschalten, die wir unbedingt erkunden wollten.

Auswirkungen auf die reale Welt

Vorwärts gehen