ReCANVo: Eine Datenbank mit echten

Scientific Data Band 10, Artikelnummer: 523 (2023) Diesen Artikel zitieren

1 Altmetrisch

Details zu den Metriken

Nonverbale Lautäußerungen wie Seufzen, Grunzen und Schreien sind informative Ausdrücke in der typischen verbalen Sprache. Ebenso vermitteln Personen, die 0–10 gesprochene Wörter oder Wortannäherungen produzieren („minimal sprechende“ Personen), durch nonverbale Lautäußerungen auch ohne verbale Sprache reichhaltige affektive und kommunikative Informationen. Doch trotz ihres reichhaltigen Inhalts liegen nur wenige bis gar keine Daten über den stimmlichen Ausdruck dieser Population vor. Hier präsentieren wir ReCANVo: Real-World Communicative and Affective Nonverbal Vocalizations – einen neuartigen Datensatz nichtsprachlicher Vokalisationen, gekennzeichnet nach Funktion, von minimal sprechenden Personen. Die ReCANVo-Datenbank enthält über 7000 Lautäußerungen, die kommunikative und affektive Funktionen von acht minimal sprechenden Personen umfassen, zusammen mit Kommunikationsprofilen für jeden Teilnehmer. Die Lautäußerungen wurden in realen Umgebungen aufgezeichnet und in Echtzeit von einem nahen Familienmitglied beschriftet, das den Kommunikator gut kannte und beim Beschriften Zugriff auf Kontextinformationen hatte. ReCANVo ist eine neuartige Datenbank mit nonverbalen Lautäußerungen von Personen, die nur minimal sprechen, der größte verfügbare Datensatz mit nonverbalen Lautäußerungen und einer der wenigen affektiven Sprachdatensätze, die im Alltag in verschiedenen Kontexten gesammelt wurden.

Nonverbale Lautäußerungen wie Grunzen, Schreien und Quietschen sind ein wichtiger Teil der Kommunikation1. Traditionell konzentrierten sich am Menschen durchgeführte Studien zu Affekt und Kommunikation mithilfe nonverbaler Lautäußerungen auf präverbale Lautäußerungen bei Säuglingen2,3 oder auf nonverbale Lautäußerungen, die inmitten typischer wortbasierter Sprache wie Stöhnen und Seufzen auftreten4,5. Für nicht oder nur minimal sprechende Personen, die keine oder nur eine Handvoll gesprochener Wörter produzieren (hier als mv*-Personen bezeichnet), übermitteln nonverbale Lautäußerungen jedoch wichtige kommunikative und affektive Informationen. Beachten Sie, dass wir den Begriff mv* („MV-Stern“) verwenden, um eine Teilpopulation von Personen zu bezeichnen, die nicht oder nur minimal sprechen. Diese Personen verfügen nur über eine eingeschränkte Ausdrucksfähigkeit der Sprache durch verbale Sprache, Geräte der alternativen und unterstützenden Kommunikation (AAC) und Gebärdensprachen, obwohl sie Lautäußerungen und andere nonverbale Ausdrücke wie Gesten, Gesichtsausdrücke und Lautäußerungen als wirksame Kommunikationsmittel verwenden. Nach unserem Kenntnisstand wurden nonverbale Lautäußerungen als Kommunikation von mv*-Personen nicht systematisch untersucht, was teilweise auf den fehlenden Zugang zu Daten dieser Gemeinschaft zurückzuführen ist. Hier präsentieren wir den ersten Datensatz nonverbaler Lautäußerungen von mv*-Personen, die hinsichtlich Affekt und kommunikativer Funktion gekennzeichnet sind. Das Ziel dieses Datensatzes besteht darin, weitere Untersuchungen zur Erfassung, Analyse und Erwiderung nichtsprachlicher Lautäußerungen von Personen anzuregen, die nur minimal sprechen.

Die Untersuchung nonverbaler Lautäußerungen bei mv*-Individuen stellt einzigartige Herausforderungen dar. Die Bevölkerung ist relativ klein und umfasst etwa 1–2 Millionen in den Vereinigten Staaten6,7,8, und sie sind geografisch verteilt9,10. Die Ressourcenbelastung dieser Bevölkerungsgruppe ist hoch11,12, daher müssen Studien sorgfältig konzipiert werden, um den Zeitaufwand, den Aufwand und die Unannehmlichkeiten der Teilnahme zu minimieren. Darüber hinaus ist diese Population sehr heterogen, einschließlich der Diagnosen Autismus-Spektrum-Störung (ASD), genetischer neurologischer Entwicklungsstörungen, Zerebralparese (CP) und anderer globaler Entwicklungsverzögerungen, und die spezifischen Ursachen bestimmter Verhaltensweisen und Symptome sind oft nicht bekannt13,14, 15. Beispielsweise kann es sein, dass eine Person aufgrund motorischer Planungsschwierigkeiten, kognitiver Verzögerungen, unterschiedlicher sozialer Motivation, einer Kombination davon oder alternativer Ursachen nicht sprechen kann. Darüber hinaus können sich die Fähigkeiten und/oder Verhaltensweisen, die die Kommunikation beeinflussen, im Laufe der Zeit weiterentwickeln, was die Heterogenität dieser Gruppe weiter vergrößert und den Bedarf an quantitativen Längsschnittdaten von jedem Einzelnen erhöht.

Darüber hinaus kann es vorkommen, dass eine Person zu Hause oder in der Familie auf eine Art und Weise kommuniziert, in einer Laborumgebung oder mit Prüfern jedoch völlig anders oder gar nicht kommuniziert16,17, was die Notwendigkeit von Umgebungskontexten vor Ort, vertrauten Personen und Daten aus der realen Welt unterstreicht Sammlung. Die geringe Anzahl und Vielfalt der Lautäußerungen erfordert einen Längsschnittansatz, um eine repräsentative Stichprobe der Lautäußerungen jeder Person zu sammeln, und erfordert eine Datenverarbeitungsmethodik, die die Spontaneität der Lautäußerungen und die laute, variable Audioumgebung des wirklichen Lebens berücksichtigt. Schließlich erfordert das Verständnis dieser Lautäußerungen Vertrautheit und Kameradschaft mit dem Kommunikator. Da die meisten mv*-Kommunikatoren nicht direkt wortbasierte Bezeichnungen bereitstellen können, sind Bezeichnungen von einer Person mit einer langfristigen Beziehung zum Kommunikator die am besten erreichbare Grundwahrheit. Darüber hinaus haben im Moment gekennzeichnete Etiketten Zugriff auf den gesamten multimodalen Kontext des Kommunikationsaustauschs, wie z. B. Körpersprache, Gesten und Umgebung, wodurch die Wiedergabetreue der Etiketten erhöht wird.

Zuvor gesammelte verfügbare Datensätze nonverbaler Lautäußerungen konzentrierten sich auf Lautäußerungen, die inmitten typischer verbaler Sprache mit Schauspielern18,19 oder aus dem Internet gesammelten Aufzeichnungen5,20 auftreten. Es gibt auch eine Reihe von Arbeiten zur Analyse der Lautäußerungen von Säuglingen21,22,23,24,25, obwohl nur wenige Datensätze verfügbar sind5. Ebenso wurden affektive Sprachdatensätze überwiegend in Laborumgebungen mit Schauspielern gesammelt26,27. Naturalistische Sprachdatensätze wurden nur mit typischer verbaler Sprache und oft nur während bestimmter Aktivitäten erfasst28,29,30, was ihre Fähigkeit einschränkt, die Breite der affektiven Ausdrücke zu erfassen, die in den verschiedenen Erfahrungen des täglichen Lebens auftreten. Nach unserem Kenntnisstand ist der ReCANVo-Datensatz der erste Datensatz affektiver Sprachvokalisationen, der vollständig „in freier Wildbahn“ über verschiedene Umgebungen und Aktivitäten hinweg gesammelt wurde.

Dieser Datensatz präsentiert über 7000 Beispiele gekennzeichneter Lautäußerungen aus der realen Welt von acht mv*-Kommunikatoren. Es handelt sich unseres Wissens nach um den einzigen Datensatz nonverbaler Lautäußerungen von nichtsprechenden Personen, den größten verfügbaren Datensatz nonverbaler Lautäußerungen und einen der wenigen Datensätze, die in realen Umgebungen mit personalisierten Bezeichnungen für jede Population erfasst wurden. Darüber hinaus werden für jeden Einzelnen grundlegende demografische Informationen und Kommunikationsprofile bereitgestellt, um zusätzliche Einblicke in die Verwendung nonverbaler Lautäußerungen durch mv*-Kommunikatoren zu bieten. Ein verbessertes Verständnis nonverbaler Lautäußerungen könnte zur Entwicklung von Technologien zur Verbesserung kommunikativer Interaktionen31 beitragen und dabei helfen, kritische Fragen rund um die Entstehung von Sprache und Kommunikation in allen Phasen der menschlichen Entwicklung und des menschlichen Ausdrucks zu beantworten. Wir hoffen, dass der veröffentlichte Datensatz andere Forscher in diesem wichtigen Forschungsbereich einbinden wird.

Die Teilnehmer wurden durch Gespräche mit Community-Mitgliedern und Mundpropaganda für eine größere Studie rekrutiert, in der untersucht wurde, wie mv*-Personen nonverbale Lautäußerungen zur Kommunikation nutzen und wie der Kommunikationsaustausch durch Technologie verbessert werden könnte32. In den hier vorgestellten ReCANVo-Datensatz haben wir Teilnehmer einbezogen, die Daten für mindestens zehn Aufnahmesitzungen gesammelt hatten, um eine ausreichende Anzahl erfasster Lautäußerungen in verschiedenen Umgebungen sicherzustellen. Diese Teilnehmer waren zwischen 6 und 23 Jahre alt und hatten die Diagnose Autismus-Spektrum-Störung (ASD), Zerebralparese (CP) und genetische Störungen. Sie alle hatten laut Elternbericht weniger als 10 gesprochene Wörter oder Wortannäherungen (siehe Tabelle 1). Die Geschlechterverteilung dieser Stichprobe (6 Männer, 2 Frauen) spiegelt die Geschlechterverteilung unter den größeren Diagnosekategorien wider (z. B. werden auf eine Frau etwa 3,8 Männer mit ASD diagnostiziert33). Es wurden keine Teilnehmer aufgrund von Alter, Diagnose oder anderen Kriterien ausgeschlossen, um einen breiten Querschnitt dieser einzigartigen und wenig erforschten Population von Kommunikatoren zu erfassen.

Wichtig ist, dass der Schwerpunkt dieser ersten Arbeit und Datensatzveröffentlichung auf der Erfassung umfassender, longitudinaler und ökologisch gültiger Daten einer Reihe von Teilnehmern lag. Dieser Prozess umfasste die Entwicklung neuer Methoden zur realen Datenerfassung und Nachbearbeitungstechniken für die Signalanalyse. Wir folgten Best Practices für neuartige Forschung mit spezialisierten Populationen34,35 und nutzten einen hochgradig iterativen und partizipativen Co-Design-Prozess mit einer kleinen Anzahl von Teilnehmern36. Unser Datensatz umfasst eine Vielzahl unterschiedlicher Aufzeichnungseinstellungen über Zeiträume von Monaten sowie personalisierte Etiketten für jeden Teilnehmer. Angesichts der begrenzten bisherigen Arbeiten zu realen Lautäußerungen von minimal sprechenden Individuen war dieser tiefenfokussierte Ansatz ein entscheidender erster Schritt zum Verständnis der Heterogenität dieser Population, und wir freuen uns auf zukünftige Arbeiten, die unser Verständnis der Lautäußerungen von mv*-Kommunikatoren erweitern.

Tabelle 1 enthält grundlegende demografische Informationen zu den acht in diesem Datensatz enthaltenen MV*-Kommunikatoren. Um die Anonymität zu gewährleisten, werden Altersgruppen angegeben. Abbildung 1 zeigt schematisch den gesamten Studienaufbau und die Datenverarbeitung. Das Studien- und Datenerfassungsprotokoll wurde vom Committee on the Use of Humans as Experimental Subjects (COUHES), dem Institutional Review Board (IRB) am Massachusetts Institute of Technology (MIT), genehmigt. Von allen Teilnehmern wurde eine Einverständniserklärung bzw. Einwilligung eingeholt. Ein Elternteil oder Erziehungsberechtigter erteilte die Einwilligung für mv*-Teilnehmer, die im Sinne der Einwilligung alle als Minderjährige galten, und während der gesamten Studie wurde besonderes Augenmerk auf die Einwilligung der nicht sprechenden Kommunikatoren gelegt. Den Familien wurde die Flexibilität gegeben, Audiodaten dann aufzunehmen, wenn es für sie am bequemsten war, und sie konnten die Aufnahmesitzung jederzeit beenden. Sie erhielten auch die Kontrolle darüber, wann und ob sie die Audiodaten mit den Forschern teilen sollten, und wurden konkret gefragt, ob sie der öffentlichen Weitergabe der nicht identifizierten Vokalisierungsclips statt einer Opt-out-Richtlinie zustimmen wollten. Alle Datenclips wurden manuell überprüft, um sicherzustellen, dass keine identifizierenden Informationen (z. B. gesprochene Namen) übrig blieben.

Schematische Darstellung zur Erstellung des ReCANVo-Datensatzes.

In diesem Artikel verwenden wir den Begriff „Kommunikator“, um die mv*-Person zu bezeichnen, die die für uns interessanten Lautäußerungen hervorgebracht hat. Mit dem Begriff „Kommunikationspartner“ oder „Bezeichner“ bezeichnen wir die Person – häufig ein Elternteil oder ein Familienmitglied –, die den Kommunikator gut kannte und die Lautäußerungen in Echtzeit beschriftete. Der Begriff „Teilnehmer“ bezieht sich sowohl auf Kommunikatoren als auch auf Kommunikationspartner, die bei der Datenerhebung gemeinsam gearbeitet haben. Schließlich verwenden wir das Wort Kommunikation, um den Informationsaustausch zwischen Menschen zu bezeichnen. Diese Definition umfasst unter anderem nichtsprachliche Lautäußerungen, die einem Zuhörer oder Kommunikationspartner Informationen übermitteln. Diese Geräusche müssen nicht absichtlich erzeugt werden, um informativ zu sein (ähnlich wie ein Schrei oder ein Schrei den Zuhörern Gefühle oder andere Informationen übermitteln kann – unabhängig davon, ob das Geräusch absichtlich erzeugt wurde oder nicht und ob es an eine andere Person gerichtet war oder nicht).

Audiodaten wurden mit einem tragbaren Audiorecorder vom Typ Sony IDC-TX800 in 16-Bit-Stereo mit 44,1 kHz erfasst (siehe Abb. 1). An der Rückseite des Rekorders waren Magnete angebracht, so dass er bequem an der Kleidung des Kommunikators befestigt werden konnte (eine detaillierte Diskussion dieser Methode finden Sie in der vorherigen Arbeit36). Einige Teilnehmer hatten eine taktile Empfindlichkeit, die verhinderte, dass selbst der leichte Rekorder an der Kleidung befestigt werden konnte, und wurden angewiesen, den Rekorder in der Nähe des Kommunikators zu platzieren oder zu halten.

Alle Daten wurden aus der Ferne in den Häusern der Teilnehmer und in der Natur gesammelt und gekennzeichnet. Diese Fernverwaltung ermöglichte es uns, eine geografisch verteilte Bevölkerung zu erreichen und äußerst naturalistische Daten zu produzieren. Datenerfassungskits wurden an die teilnehmenden Familien verschickt. Zu diesen Kits gehörten der Audiorecorder von Sony, ein Mobiltelefon mit einer benutzerdefinierten App zur sofortigen Beschriftung, Peripheriekabel und Anweisungen (siehe Abb. 1). Die Teilnehmer wurden ermutigt, während der Aufzeichnung ihren typischen täglichen Aktivitäten nachzugehen und diese nach Belieben zu kennzeichnen, um die Belastung durch die Integration der Datenerfassung in das tägliche Leben zu verringern. Diese naturalistische Datenerfassungsmethode führte zu bewusst spärlich beschrifteten Aufnahmen.

Lautäußerungen wurden in Echtzeit mithilfe einer speziell entwickelten Smartphone-Anwendung beschriftet (siehe Abb. 2). Die App enthielt 6 Etiketten, die für alle Teilnehmer identisch waren, sowie 4 Etiketten, die von jeder Familie aus einer Liste von 25 voreingestellten Optionen angepasst werden konnten (siehe Abb. 2b). Diese Bezeichnungen wurden für diese Studie auf der Grundlage von Interviews mit Familien von nur minimal sprechenden Kommunikatoren und Gesprächen mit Logopäden ausgewählt. Sie wurden entwickelt, um eine Reihe häufiger affektiver Zustände abzudecken, die mit einem Laut verbunden sein können (z. B. Frustration, Freude), sowie kommunikative Ausdrücke, die viele mv*-Personen durch Lautäußerungen vermitteln (z. B. Bitte). Die Kategorie der „sozialen“ Lautäußerungen ist zwar weit gefasst, wurde aber aufgenommen, weil es für unbekannte Kommunikationspartner wichtig ist, soziale Aufrufe des Kommunikators zu erkennen und zu verstehen, auch wenn sie nicht in der Lage sind, eine spezifischere Bedeutung genau zu identifizieren. Beschreibungen der 6 vorab festgelegten Etiketten wurden den Etikettierern zur Verfügung gestellt und sind hier aufgeführt:

Frustration: Lautäußerungen, die mit Frustration oder Wut verbunden sind. Diese Lautäußerungen werden typischerweise als Reaktion auf eine bestimmte Situation gemacht (z. B. wenn man nicht bekommt, was man will).

Freude: Lautäußerungen, die mit Aufregung, großer Freude oder Freude verbunden sind.

Dysregulation: Lautäußerungen, die mit Gereiztheit, Verärgerung, Unruhe, Langeweile, Unbehagen, Unterstimulation, Überstimulation oder allgemeiner Verzweiflung verbunden sind. Diese Lautäußerungen können unfreiwillig oder ohne bekannte kommunikative Funktion erfolgen; Sie vermitteln jedoch einen dysregulierten affektiven Zustand und werden von Zuhörern, die den Kommunikator gut kennen, gut verstanden, was sie äußerst informativ und wichtig für die Erfassung macht.

Selbstgespräche: Lautäußerungen, die mit Zufriedenheit, Glück oder Entspannung assoziiert werden und oft spielerischer oder forschender Natur sind. Diese Lautäußerungen scheinen im Allgemeinen ohne eine offensichtliche kommunikative Funktion zu erfolgen (dh das Individuum scheint die Lautäußerungen für sich selbst zu machen). Bei einigen Personen (jeden Alters) klingen diese Lautäußerungen möglicherweise wie kanonisches Plappern, Singen oder andere Stimmspiele, die bei jungen, sich normal entwickelnden Kindern zu hören sind.

Anfrage: Lautäußerungen, die mit dem Stellen einer Anfrage verbunden sind.

Sozial: Lautäußerungen, die sozialer Natur sind und nicht genauer durch einen anderen Begriff oder einen spezifischeren sozialen Begriff beschrieben werden können (z. B. „Begrüßung“, „Anruf nach einer bestimmten Person“).

Den Teilnehmern wird eine individuelle Etikettierungs-Smartphone-Anwendung zur Verfügung gestellt. (a) Hauptschnittstelle für die aktuelle Beschriftung. Auf Etiketten wurde getippt, um den Beginn einer Lautäußerung anzuzeigen, und erneut angetippt, um das Ende einer Lautäußerung anzuzeigen. Nachdem ein Etikett gedrückt wurde, erschien eine Animation auf dem Etikett (angezeigt auf der Schaltfläche „Begeistert“), um den Benutzer daran zu erinnern, welches Etikett aktiv war. Beschriftungen und Audio von einem zeitsynchronisierten tragbaren Rekorder wurden während der Nachbearbeitung abgeglichen. Die sechs Beschriftungen am oberen Bildschirmrand waren für alle Teilnehmer gleich, während die vier Beschriftungen am unteren Bildschirmrand für jeden Teilnehmer individuell angepasst werden konnten. Der „Fokus-Timer“ wurde bereitgestellt, damit die Teilnehmer verfolgen konnten, wie lange sie bereits beschriftet hatten. (b) Teilliste der voreingestellten Optionen für die vier anpassbaren Etiketten. In Tabelle 1 finden Sie die vollständige Liste der von den Teilnehmern dieses Datensatzes verwendeten Labels.

Etikettenbeschreibungen wurden mit Familien geteilt. Insbesondere die Unterschiede zwischen „Dysregulation“ und „Frustration“ sowie zwischen „Selbstgesprächen“ und „Freude“ wurden ausführlich mit den Familien besprochen. Dysregulierte Lautäußerungen sind beispielsweise tendenziell allgemeiner und weniger spezifisch für eine Situation als andere negative affektive Ausdrucksformen wie Frustration (z. B. Frustration darüber, dass man keinen Snack zu sich nehmen kann, im Vergleich zu Dysregulation aufgrund von Unwohlsein, Unter-/Überstimulation oder einer umfassenderen Ursache). . Ebenso unterscheiden sich Selbstgesprächsvokalisationen von Freudenvokalisationen in beiden Funktionen (z. B. werden Freudenvokalisationen eher als Reaktion auf angenehme Umstände gemacht, um Freude zu vermitteln, wohingegen Selbstgesprächsvokalisationen im Allgemeinen an sich selbst gerichtet sind und möglicherweise keine spezifische Aufforderung haben offensichtliche Bedeutung) und Erregung („sehr glücklich oder fröhlich“ versus „Kontext, glücklich oder entspannt“). Diese Zustände unterscheiden sich häufig auch in kontextuellen Informationen und anderen nonverbalen Hinweisen wie Gesichtsausdrücken und Körpersprache.

Während des Aufnahmescreenings gaben die Eltern an, wie ihr MV*-Kommunikator konsequent Lautäußerungen nutzte. Die Teilnehmer wurden angewiesen, nur die Bezeichnungen zu verwenden, für die der Kommunikator eine Vokalisierung hatte. Nicht jeder Kommunikator produzierte Vokalisationen, die mit jeder Klangkategorie in Zusammenhang standen. Einige Kommunikatoren verfügten beispielsweise über keine „sozialen“ Lautäußerungen und andere brachten keine „fehlregulierten“ Lautäußerungen hervor. Daher wurden diese Etiketten nicht für diese Personen verwendet.

Die App beinhaltete auch die Option für 4 halbpersonalisierbare Etiketten. Durch die Verwendung einer Kombination aus vorab festgelegten Etiketten, die für alle Teilnehmer einheitlich waren, und Etiketten, die für jede einzelne Person angepasst werden konnten, konnten wir eine personalisierte repräsentative Stichprobe der Arten von Lautäußerungen erfassen, die diese Personen produzierten. Wir konnten auch Vokalisierungsfunktionen erfassen, die möglicherweise bei allen Teilnehmern ungewöhnlich, aber für den jeweiligen Teilnehmer von großer Bedeutung waren, wie zum Beispiel „Hilfe“, „Ja“, „Tablet anfordern“ oder „Hungrig“. Nicht alle Teilnehmer nutzten die voreingestellten Optionen; Sie wurden nur verwendet, wenn die Familie angab, dass der Kommunikator über zusätzliche spezifische Lautäußerungen verfügte, die sie erfassen wollte. Daher waren diese zusätzlichen Etiketten für jeden Teilnehmer spezifisch (siehe Tabelle 2 für die pro Teilnehmer verwendeten Etiketten). Die Teilnehmer wurden bei der Einrichtung der App durch die Auswahl dieser halbpersonalisierbaren Bezeichnungen aus einer voreingestellten Wortliste angeleitet. Anschließend wurden diese Bezeichnungen nicht mehr geändert. Somit verfügte jeder Teilnehmer über einen festen Satz von 6–10 Etiketten, die er während seiner gesamten Studie verwenden konnte.

Beachten Sie, dass von mv*-Personen erzeugte Lautäußerungen mehrere gleichzeitige Bedeutungen (z. B. eine „frustrierte Bitte“) oder mehrdeutige Bedeutungen haben können. Die Labeler wurden gebeten, eine Lautäußerung nur dann zu kennzeichnen, wenn sie ein hohes Vertrauen in ihre Interpretation der Funktion des Klangs hatten, und die am besten geeignete Bezeichnung zuzuweisen. Daher gibt es für jede aufgezeichnete Vokalisierung eine vorgesehene Bezeichnung.

Während der Kommunikator das Aufnahmegerät trug, beschriftete der Kommunikationspartner die Lautäußerungen, während sie erzeugt wurden. Beispielsweise könnte ein Kommunikator um ein Getränk bitten, indem er lautstark auf eine Tasse deutet und darauf deutet. Der Kommunikationspartner tippt dann in der Beschriftungs-App des Smartphones auf das Etikett „Anfordern“.

Labeler wurden gebeten, eine möglichst 1:1-Zuordnung zwischen einer Lautäußerung und einer Beschriftung zu erreichen. Allerdings befolgten nicht alle Teilnehmer diese Anweisung genau; Einige Teilnehmer bezeichneten lange Zeiträume mit mehreren Lautäußerungen als eine einzige Bezeichnung. Diese Beschriftungstechniken werden weiter unten in den Vorverarbeitungsmethoden (z. B. Ausrichtung von Audio und Beschriftungen) erläutert. Die App verlangte von Labelern, dass sie durch Tippen auf die entsprechende Beschriftung eine „Start-“ und „Endzeit“ für eine Lautäußerung angeben. Ein Farbwechsel und eine Animation erschienen auf einem „gestarteten“ Etikett, um visuell anzuzeigen, welches Etikett aktiv war (siehe Abb. 2a).

Zu Beginn der Studie hatte jeder Teilnehmer ein persönliches Treffen oder einen Anruf mit dem Forschungsteam, um das Studienprotokoll durchzusehen, Fragen zu stellen und die Kennzeichnungs-App einzurichten. Die Zustimmung und/oder Zustimmung wurde von jedem Teilnehmer eingeholt. Darüber hinaus wurden den Teilnehmern multimodale Anleitungen zum besseren Verständnis und zur zuverlässigen Datenerfassung zur Verfügung gestellt, darunter eine Reihe von Videoanleitungen (https://bit.ly/commalla-youtube) sowie eine Website mit schriftlichen und bebilderten Anleitungen. Schritt-für-Schritt-Anleitungen waren auch in jedem per Post verschickten Datenerfassungskit enthalten und wurden jedem Teilnehmer als PDF zur Verfügung gestellt. Schließlich erhielten die Teilnehmer die Kontaktinformationen des Forschers und wurden aufgefordert, sich im Verlauf der Studie bei Fragen an sie zu wenden.

Die Studie wurde so konzipiert, dass sie flexibel ist und den Zeit- und Arbeitsaufwand für die teilnehmenden Familien minimiert. Die Teilnehmer konnten das Tempo, den Ort und die Aktivitäten für die Datenerfassung wählen. Während diese Flexibilität zu einer gewissen Variabilität in den gesammelten Daten zwischen den Teilnehmern führte, war sie von entscheidender Bedeutung, um diese weltweit einzigartige Datenerfassung mit einer spezialisierten Bevölkerung zu ermöglichen.

Die Teilnehmer luden aufgezeichnete Audiodateien über eine cloudbasierte Filesharing-Plattform hoch. Etiketten aus der App wurden direkt mit einem vom Forschungsteam verwalteten Webserver synchronisiert. Die Uhr des Rekorders und der App wurden vor dem Versand der Ausrüstung mit derselben über das Internet zugänglichen Atomuhr (https://time.is) synchronisiert.

Die Audioaufnahmen und Etiketteninformationen wurden dann verarbeitet, um interessante Lautäußerungen zu isolieren und sie mit den zugewiesenen Lautäußerungsbezeichnungen abzugleichen. Da die Teilnehmer angewiesen wurden, nach eigenem Ermessen aufzunehmen und zu kennzeichnen, isolierten wir zunächst Audiobereiche, die sich zeitlich in der Nähe von Etiketten befanden (siehe Abb. 3, violette Bereiche). Da der Rekorder dann an der Kleidung des Kommunikators befestigt oder in der Nähe platziert war, wurde ein lautstärkebasierter Filter verwendet, um kleinere Audiosegmente innerhalb dieser Bereiche zu isolieren, bei denen es sich wahrscheinlich um Lautäußerungen handelte (siehe Abb. 3, gelbe Bereiche). Die Lautstärkefilterschwellenwerte wurden für jede Sitzung basierend auf den Aufzeichnungspegeln während dieser Sitzung ausgewählt. sie lagen zwischen –20 und –45 dB. Lautäußerungen galten als deutlich (separate Lautäußerungen), wenn zwischen ihnen eine Stille von etwa 250–450 ms lag, die heuristisch auf der Grundlage der Lautstärkepegel und Hintergrundgeräusche der Aufzeichnung dieser Sitzung ermittelt wurde. Weitere Informationen zur Ausrichtung und Segmentierung finden Sie in anderen Arbeiten37.

Die Audiodaten und Echtzeitbezeichnungen der App wurden nachträglich verarbeitet, um die Bezeichnungen mit den Lautäußerungen abzugleichen. Ein lautstärkebasierter Filter wurde verwendet, um interessierende Audiosegmente zu isolieren. Segmente, die zeitlich in der Nähe eines Labels liegen, wurden diesem Label zugeordnet. Ein Forscher hörte sich jedes Segment an, um sicherzustellen, dass es eine Lautäußerung enthielt, und entfernte bei Bedarf überschüssiges Rauschen um die Lautäußerung herum.

Isolierten Segmenten wurde dann ein Label nach folgenden Regeln zugewiesen (siehe Abb. 4):

Das Audiosegment lag innerhalb der Labelgrenzen.

Das Audiosegment endete während einer Beschriftung. Dieser Zeitpunkt trat auf natürliche Weise ein, als ein Etikettierer auf das Etikett drückte, nachdem er eine Lautäußerung gehört und erkannt hatte.

Das Audiosegment begann vor Beginn des Labels und das Label begann innerhalb von 15 Sekunden nach Segmentstart. Dieser Schwellenwert wurde nach dem Anhören Hunderter Roh-Audiodateien ermittelt. Es erklärt die Verzögerung bei der menschlichen Kennzeichnung, die mit der unmittelbaren Kennzeichnung in der realen Welt einhergeht. In vielen Fällen konnten den Lautäußerungen trotz dieser langen Verzögerung Bezeichnungen zugewiesen werden, da es nur wenige Lautäußerungen aus der mv*-Population gab (d. h. während dieser Zeit wurden keine anderen Lautäußerungen gemacht).

Das Etikett endete 3 Sekunden oder weniger vor Beginn des Segments. Diese Ausrichtungsstrategie war vor allem für eine Reihe von Lautäußerungen erforderlich, die inmitten mehrerer identischer Bezeichnungen auftraten. Beispielsweise könnte ein Kommunikator nacheinander vier oder fünf frustrierte Lautäußerungen von sich geben, aber aufgrund der menschlichen Verzögerung und der Tatsache, dass bei der Datenerfassung in der realen Welt auf die Bedürfnisse des Kommunikators eingegangen werden muss, werden möglicherweise nur wenige Lautäußerungen gekennzeichnet. Die zeitliche Nähe der Bezeichnungen und Lautäußerungen ermöglichte jedoch dennoch eine Zuordnung der Bezeichnungen.

Das Segment begann innerhalb eines Etiketts und endete innerhalb von 3 s nach dem Ende des Etiketts. Da einige Etiketten mehrere Lautäußerungen umfassten, begannen einige Segmente, nachdem das Etikett gedrückt wurde. Dieser Zeitschwellenwert ist kürzer, um der Möglichkeit Rechnung zu tragen, dass ein Etikettierer eine Etikettierung beendet hat, weil sich der Vokalisierungstyp geändert hat und die aktuelle Etikettierung nicht mehr korrekt war.

Veranschaulichung von Regeln zum Zuweisen von Labels zu Segmenten. Die Regelnummern in der Abbildung entsprechen den Beschreibungen im Hauptteil der Arbeit.

Diese Regeln wurden heuristisch ermittelt, indem das Timing der Labels mit den Audiodateien in voller Länge verglichen wurde. Das Hintergrundaudio und der Gesprächsaustausch in den Audiodateien lieferten Kontext, um festzustellen, ob eine Bezeichnung mit einer bestimmten Lautäußerung übereinstimmte. Wenn mehrere unterschiedliche Labels die oben genannten Regeln erfüllten, wurde ein einzelnes Label ausgewählt, wobei das Label mit der Regel mit der niedrigsten Zahl in der Liste oben priorisiert wurde. Beachten Sie, dass nicht jeder Vokalisierung in einer Aufnahme ein Label zugewiesen wurde, da die Teilnehmer angewiesen wurden, während der Aufnahme in freien Momenten ein Label anzugeben. Unbeschriftete Lautäußerungen waren in diesem Datensatz nicht enthalten. Die bereitgestellten Labels wurden umfassend in den Datensatz aufgenommen. Im Durchschnitt entsprach jede Bezeichnung zwei bis drei endgültigen Vokalisierungssegmenten37.

Nachdem den Audiosegmenten Etiketten zugewiesen wurden, hörte sich ein Forscher jedes markierte Audiosegment an. Segmente, die keine Lautäußerungen enthielten, wurden verworfen. Segmente, die vor oder nach einer Lautäußerung zusätzliche Geräusche oder Stimmen enthielten, wurden manuell zugeschnitten. Als Lautäußerungen wurden alle klaren Geräusche des Kommunikators definiert, die mit einer Bezeichnung in Verbindung gebracht werden konnten. Diese Definition umfasste sowohl stimmhafte als auch nicht stimmhafte Lautäußerungen, einschließlich wortähnlicher Annäherungen mit klaren Vokal-Konsonanten-Lauten sowie Laute wie Grunzen, Stöhnen, Schreien, Lachen und gehauchte Lautäußerungen. Für jede im Datensatz enthaltene Audiodatei wurde manuell bestätigt, dass sie eine Vokalisierung enthält. Der ReCANVo-Datensatz sollte repräsentativ für reale Daten sein, daher enthalten einige gekürzte Lautäußerungen Hintergrundgeräusche.

Alle unten beschriebenen Datensatzdateien, einschließlich Rohdatendateien, finden Sie auf Zenodo38: https://doi.org/10.5281/zenodo.5786859.

Der Datensatz enthält Audioaufzeichnungen segmentierter Lautäußerungen, die nach Bedeutung oder Funktion der Lautäußerungen gekennzeichnet sind. Bei den Lautäußerungen handelt es sich um 16-Bit-WAV-Dateien mit 44,1 kHz, die nach zugewiesener Bezeichnung organisiert sind. Es wird eine CSV-Datei bereitgestellt, die den Namen jeder Vokalisationsdatei sowie die entsprechende Teilnehmer-ID und Vokalisationsbezeichnung enthält. Darüber hinaus werden Kommunikationsprofile für jeden Teilnehmer in einer separaten .csv-Datei bereitgestellt. Diese Hintergrundinformationen wurden von den Eltern jedes MV*-Kommunikators im Rahmen eines Fragebogens zur Studienaufnahme weitergegeben. Das Kommunikationsprofil umfasst die vom Teilnehmer verwendeten Kommunikationsmodalitäten (z. B. AAC-Verwendung, Gesten, Lautäußerungen), die Anzahl der vom Kommunikator erzeugten gesprochenen Wörter und Wortannäherungen sowie Rückmeldungen darüber, ob und wie der Kommunikator Stimmlaute in verschiedenen Kommunikations- und Kommunikationssituationen verwendet affektive Kategorien.

Die Dateinamen jeder Audioaufnahme haben das folgende Format:

Dabei gibt YYMMDD_HHMM das Jahr (YY), den Monat (MM), den Tag (DD), die Stunde (HH) bzw. die Minute (MM) einer Audiodatei an. Die Start- und Endzeiten einer Vokalisierung im Verhältnis zur Dateistartzeit werden durch SH, SM, SS, ss und EH, EM, ES, ss angegeben und geben die Stunde, Minute, Sekunde und Teilsekunde des Beginns oder Endes der Vokalisierung an. jeweils. Diese Zeiten sind im Dateinamen enthalten, um zusätzliche Informationen über den Längsschnittcharakter des Datensatzes bereitzustellen. Benutzer des Datensatzes sollten beachten, dass diese Zeiten ungefähre Angaben sind und mithilfe des oben beschriebenen Segmentierungs- und Reinigungsprozesses ermittelt wurden. Speziell für P01 wurden die Start- und Endzeiten der Lautäußerungen nachträglich mithilfe einer Autokorrelation geschätzt und weisen bekannte Fehler auf.

Der ReCANVo-Datensatz umfasst 7.077 Lautäußerungen, die in Längsrichtung mit 8 mv*-Kommunikatoren erfasst wurden. Tabelle 2 zeigt die Anzahl der Lautäußerungen im Datensatz für jeden Teilnehmer und jeden Lautäußerungstyp. Nach unserem Kenntnisstand ist der ReCANVo-Datensatz der erste Datensatz zur nonverbalen Kommunikation, der unabhängig von typischer verbaler Sprache stattfindet, der größte existierende Datensatz zu nonverbalen Lautäußerungen und der erste öffentliche Datensatz zu affektiver Sprache, der im Längsschnitt über das Alltagsleben hinweg in verschiedenen Settings erfasst wurde.

Wir haben drei mögliche Fehlerquellen bei der Kennzeichnung identifiziert:

Versehentliche Etiketten (z. B. wenn ein Etikettierer versehentlich auf das falsche Etikett in der App tippt)

Ungenaue Ausrichtung von Vokalisierung und Label (z. B. Labels werden während der Nachbearbeitung nicht korrekt mit einem Vokalisierungsaudio abgeglichen)

Ungenaue Interpretation einer Lautäußerung durch einen Kommunikationspartner.

Um die ersten beiden Fehlerquellen zu entschärfen, hörte sich ein Forscher den Ton an, der jede markierte Lautäußerung umgab. Ein Forscher hörte sich außerdem mindestens alle zwei Wochen für jeden Teilnehmer Audioaufnahmen in voller Länge der gesammelten Daten an. Der Umgebungskontext aus der Audioaufnahme, wie etwa ein gesprochener Dialog, der eine emotionale Bezeichnung bestätigt (z. B. „Ich weiß, dass Sie nach draußen gehen wollen und wir können nicht. Das ist frustrierend.“) oder die Anfrage eines Kommunikators beantwortet (z. B. „Ist das das?“) „Der Snack, den Sie wollten?“) wurde verwendet, um zu bestätigen, dass die zugewiesenen Etiketten mit dem Audiokontext in der Nähe des Etiketts übereinstimmten. Aufgrund des Längsschnittcharakters der Studie wurde bei einigen Teilnehmern eine gewisse Abweichung der Uhr (~ 10 Sekunden oder weniger) beobachtet. Diese Abweichung wurde manuell bestimmt und bei der Ausrichtung der Beschriftungen an den Lautäußerungen berücksichtigt.

Um die dritte Fehlerquelle (d. h. falsche Interpretation durch den Kommunikationspartner) abzuschwächen, stellten nur Kommunikationspartner, die mit dem mv*-Kommunikator und seinem Kommunikationsstil bestens vertraut waren, Etiketten bereit. Darüber hinaus wurden die Partner angewiesen, nur Lautäußerungen zu kennzeichnen, von denen sie glaubten, dass sie sie sicher interpretieren könnten. Allerdings bleibt jede Interpretation einer Lautäußerung bestenfalls eine Interpretation. Wir hoffen, dass es mit der Verfügbarkeit zusätzlicher Kenntnisse und Kommunikationstechnologien für mv*-Kommunikatoren möglich sein wird, die Grundwahrheitsbedeutung dieser Lautäußerungen direkt von den Kommunikatoren zu erhalten.

Darüber hinaus gab es erwartete Geräuschquellen im Zusammenhang mit realen Daten, darunter Umgebungsgeräusche (z. B. Wind, Bewegung, Spielzeug und Elektronik im Hintergrund), überlappende Stimmen und Intensitätsänderungen aufgrund der variablen Position des Rekorders. Viele externe Rauschquellen wurden während des Segmentierungsprozesses oder durch manuelles Trimmen entfernt; Allerdings wurden hier Vokalisierungssegmente aller Qualitäten einbezogen, um eine naturalistische, realitätsnahe Datenübertragung zu gewährleisten.

Für die oben beschriebene Datenverarbeitung haben wir die Programmiersprache Python verwendet. Die Volumensegmentierung wurde mithilfe der Pydub-Bibliothek implementiert. Der Label-Zuweisungsalgorithmus ist in Abb. 3 zusammengefasst. Der Code ist als Teil unseres Datensatzes in Zenodo verfügbar: https://doi.org/10.5281/zenodo.5786859.

Sauter, DA, Eisner, F., Calder, AJ & Scott, SK Wahrnehmungshinweise in nonverbalen stimmlichen Ausdrucksformen von Emotionen. The Quarterly Journal of Experimental Psychology 63, 2251–2272, https://doi.org/10.1080/17470211003721642 (2010).

Artikel PubMed Google Scholar

Liu, L., Li, W., Wu, X. & Zhou, BX Analyse und Erkennung der Schreisprache von Säuglingen: ein experimenteller Ansatz. IEEE/CAA Journal of Automatica Sinica 6, 778–788, https://doi.org/10.1109/JAS.2019.1911435 (2019).

Artikel CAS Google Scholar

Oller, DK et al. Automatisierte Stimmanalyse naturalistischer Aufnahmen von Kindern mit Autismus, Sprachverzögerung und typischer Entwicklung. Proceedings of the National Academy of Sciences 107, 13354–13359, https://doi.org/10.1073/pnas.1003882107 (2010).

Artikel ADS Google Scholar

Anikin, A. Ein lustvolles Stöhnen sollte gehaucht sein: die Auswirkung der Stimmqualität auf die Bedeutung menschlicher nonverbaler Lautäußerungen. Phonetica 77, 327–349, https://doi.org/10.1159/000504855 (2020).

Artikel PubMed Google Scholar

Parsons, CE, Young, KS, Craske, MG, Stein, AL & Kringelbach, ML Einführung in die Oxford Vocal (OxVoc)-Klangdatenbank: Ein validierter Satz nicht gespielter affektiver Geräusche von menschlichen Säuglingen, Erwachsenen und Haustieren. Frontiers in Psychology 5, 562, https://doi.org/10.3389/fpsyg.2014.00562 (2014).

Artikel PubMed PubMed Central Google Scholar

Rose, V., Trembath, D., Keen, D. & Paynter, J. Der Anteil minimal verbaler Kinder mit Autismus-Spektrum-Störung in einem gemeindebasierten Frühinterventionsprogramm. Journal of Intellectual Disability Research 60, 464–477, https://doi.org/10.1111/jir.12284 (2016).

Artikel CAS PubMed Google Scholar

Anderson, DK et al. Wachstumsmuster der verbalen Fähigkeiten bei Kindern mit Autismus-Spektrum-Störung. Journal of Consulting and Clinical Psychology 75, 594, https://doi.org/10.1037/0022-006X.75.4.594 (2007).

Artikel PubMed Google Scholar

Tager-Flusberg, H. & Kasari, C. Minimal verbale Kinder im schulpflichtigen Alter mit Autismus-Spektrum-Störung: Das vernachlässigte Ende des Spektrums. Autismusforschung 6, 468–478, https://doi.org/10.1002/aur.1329 (2013).

Artikel PubMed Google Scholar

Chiarotti, F. & Venerosi, A. Epidemiologie von Autismus-Spektrum-Störungen: eine Übersicht über weltweite Prävalenzschätzungen seit 2014. Brain Sciences 10, 274, https://doi.org/10.3390/brainsci10050274 (2020).

Artikel PubMed PubMed Central Google Scholar

Hoffman, K. et al. Geografische Muster der Autismus-Spektrum-Störung bei Kindern von Teilnehmern der Gesundheitsstudie für Krankenschwestern ii. American Journal of Epidemiology 186, 834–842, https://doi.org/10.1093/aje/kwx158 (2017).

Artikel PubMed PubMed Central Google Scholar

Hayes, SA & Watson, SL Die Auswirkungen von Erziehungsstress: Eine Metaanalyse von Studien, in denen die Erfahrung von Erziehungsstress bei Eltern von Kindern mit und ohne Autismus-Spektrum-Störung verglichen wird. Journal of Autism and Developmental Disorders 43, 629–642, https://doi.org/10.1007/s10803-012-1604-y (2013).

Artikel PubMed Google Scholar

Kogan, MD et al. Ein nationales Profil der Gesundheitsversorgungserfahrungen und familiären Auswirkungen der Autismus-Spektrum-Störung bei Kindern in den Vereinigten Staaten, 2005–2006. Pediatrics 122, e1149–e1158, https://doi.org/10.1542/peds.2008-1057 (2008).

Artikel PubMed Google Scholar

Geschwind, DH & Levitt, P. Autismus-Spektrum-Störungen: Entwicklungsdiskonnektionssyndrome. Aktuelle Meinung in der Neurobiologie 17, 103–111, https://doi.org/10.1016/j.conb.2007.01.009 (2007).

Artikel CAS PubMed Google Scholar

Geschwind, DH & State, MW Genjagd bei Autismus-Spektrum-Störung: auf dem Weg zur Präzisionsmedizin. The Lancet Neurology 14, 1109–1120, https://doi.org/10.1016/S1474-4422(15)00044-7 (2015).

Artikel PubMed PubMed Central Google Scholar

Masi, A., DeMayo, MM, Glozier, N. & Guastella, AJ Ein Überblick über Autismus-Spektrum-Störung, Heterogenität und Behandlungsmöglichkeiten. Neuroscience Bulletin 33, 183–193, https://doi.org/10.1007/s12264-017-0100-y (2017).

Artikel PubMed PubMed Central Google Scholar

Barokova, MD, Hassan, S., Lee, C., Xu, M. & Tager-Flusberg, H. Ein Vergleich von Proben natürlicher Sprache, die Eltern und Prüfer von Kindern und Jugendlichen mit Autismus mit minimalem und niedrigem Sprachniveau gesammelt haben. Journal of Speech, Language, and Hearing Research 63, 4018–4028, https://doi.org/10.1044/2020_JSLHR-20-00343 (2020).

Artikel PubMed Google Scholar

Bernard-Opitz, V. Pragmatische Analyse des Kommunikationsverhaltens eines autistischen Kindes. Journal of Speech and Hearing Disorders 47, 99–109, https://doi.org/10.1044/jshd.4701.99 (1982).

Artikel CAS PubMed Google Scholar

Lima, CF, Castro, SL & Scott, SK Wenn Stimmen emotional werden: Ein Korpus nonverbaler Lautäußerungen für die Erforschung der Emotionsverarbeitung. Verhaltensforschungsmethoden 45, 1234–1245, https://doi.org/10.3758/s13428-013-0324-3 (2013).

Artikel PubMed Google Scholar

Holz, N., Larrouy-Maestri, P. & Poeppel, D. Die paradoxe Rolle emotionaler Intensität bei der Wahrnehmung stimmlicher Affekte. Wissenschaftliche Berichte 11, 1–10, https://doi.org/10.1038/s41598-021-88431-0 (2021).

Artikel CAS Google Scholar

Anikin, A. & Persson, T. Nichtsprachliche Lautäußerungen aus Online-Amateurvideos für die Emotionsforschung: Ein validiertes Korpus. Verhaltensforschungsmethoden 49, 758–771, https://doi.org/10.3758/s13428-016-0736-y (2017).

Artikel PubMed Google Scholar

Harding, CG & Golinkoff, RM Die Ursprünge absichtlicher Lautäußerungen bei vorsprachlichen Säuglingen. Kinderentwicklung 33–40, https://www.jstor.org/stable/1129038 (1979).

Oller, DK Die Entstehung der Sprachfähigkeit (Psychology Press, 2000).

Oller, DK et al. Früh- und reifgeborene Lautäußerungen und der Ursprung der Sprache. Wissenschaftliche Berichte 9, 1–10, https://doi.org/10.1038/s41598-019-51352-0 (2019).

Artikel CAS Google Scholar

Nathani, S., Ertmer, DJ & Stark, RE Beurteilung der Stimmentwicklung bei Säuglingen und Kleinkindern. Klinische Linguistik und Phonetik 20, 351–369, https://doi.org/10.1080/02699200500211451 (2006).

Artikel Google Scholar

Jhang, Y. & Oller, DK Entstehung funktioneller Flexibilität bei Säuglingslautäußerungen der ersten drei Monate. Frontiers in Psychology 8, 300, https://doi.org/10.3389/fpsyg.2017.00300 (2017).

Artikel PubMed PubMed Central Google Scholar

Busso, C. et al. IEMOCAP: interaktive Datenbank zur emotionalen dyadischen Bewegungserfassung. Language Resources and Evaluation 42, 335–359, https://doi.org/10.1007/s10579-008-9076-6 (2008).

Artikel Google Scholar

Livingstone, SR & Russo, FA Die audiovisuelle Ryerson-Datenbank für emotionale Sprache und Gesang (RAVDESS): Ein dynamischer, multimodaler Satz von Gesichts- und Stimmausdrücken in nordamerikanischem Englisch. PloS One 13, e0196391, https://doi.org/10.1371/journal.pone.0196391 (2018).

Artikel CAS PubMed PubMed Central Google Scholar

Ringeval, F., Sonderegger, A., Sauer, J. & Lalanne, D. Vorstellung des multimodalen RECOLA-Korpus entfernter kollaborativer und affektiver Interaktionen. In IEEE International Conference on Automatic Face and Gesture Recognition, 1–8, https://doi.org/10.1109/FG.2013.6553805 (IEEE, 2013).

Lotfian, R. & Busso, C. Aufbau eines naturalistischen, emotional ausgewogenen Sprachkorpus durch Abrufen emotionaler Sprache aus vorhandenen Podcast-Aufnahmen. IEEE Transactions on Affective Computing 10, 471–483, https://doi.org/10.1109/TAFFC.2017.2736999 (2019).

Artikel Google Scholar

Canavan, A., Graff, D. & Zipperlen, G. CALLHOME American English Speech LDC97S42 https://doi.org/10.35111/exq3-x930 (1997).

Artikel Google Scholar

Narain, J. et al. Personalisierte Modellierung realer Lautäußerungen von nonverbalen Personen. In Proceedings of the 2020 International Conference on Multimodal Interaction, 665–669, https://doi.org/10.1145/3382507.3418854 (2020).

Narain, J. et al. Nonverbale Lautäußerungen als Sprache: Charakterisierung des natürlichen Umgebungsklangs von nonverbalen Personen mit Autismus. Im Workshop „Proceedings of Laughter and Other Non-Verbal Vocalisations“, https://doi.org/10.4119/lw2020-923 (2020).

Maenner, MJ et al. Prävalenz und Merkmale der Autismus-Spektrum-Störung bei Kindern im Alter von 8 Jahren – Überwachungsnetzwerk für Autismus und Entwicklungsstörungen, 11 Standorte, Vereinigte Staaten, 2020. MMWR. Überwachungszusammenfassungen 72 (2023).

Biller, MF & Johnson, CJ Untersuchung nützlicher gesprochener Sprache bei einem Kind mit minimalen Sprachkenntnissen und einer Autismus-Spektrum-Störung: eine deskriptive klinische Einzelfallstudie. American Journal of Speech-Language Pathology 29, 1361–1375 (2020).

Artikel PubMed Google Scholar

Wilson, C., Brereton, M., Ploderer, B. & Sitbon, L. Co-Design jenseits aller Worte: „Momente der Interaktion“ mit minimal verbalen Kindern im Autismus-Spektrum. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, 1–15 (2019).

Johnson, KT, Narain, J., Ferguson, C., Picard, R. & Maes, P. Die ECHOS-Plattform zur Verbesserung der Kommunikation für nonverbale Kinder mit Autismus: Eine Fallstudie. In Extended Abstracts der 2020 CHI Conference on Human Factors in Computing Systems, 1–8, https://doi.org/10.1145/3334480.3375206 (2020).

Narain, J. Schnittstellen und Modelle für ein verbessertes Verständnis realer kommunikativer und affektiver nonverbaler Lautäußerungen durch minimal sprechende Personen. Massachusetts Institute of Technology https://dspace.mit.edu/bitstream/handle/1721.1/140101/narain-jnarain-phd-meche-2021-thesis.pdf (2021).

Narain, J., Johnson, K., Quatieri, T., Picard, R. & Maes, P. ReCANVo: Ein Datensatz realer kommunikativer und affektiver nonverbaler Lautäußerungen, Zenodo, https://doi.org/10.5281/ zenodo.5786859 (2021).

Referenzen herunterladen

Die Finanzierung dieser Forschung erfolgte durch das MIT Media Lab Consortium und das MIT Deshpande Center for Technological Innovation. Darüber hinaus wurde KTJ durch das MIT Hugh Hampton Young Memorial Fellowship finanziert, und JN wurde von Apple Scholars in AI/ML und dem NSF Graduate Research Fellowship-Programm finanziert. Für TQ basiert dieses Material auf Arbeiten, die vom Unterstaatssekretär für Forschung und Technik im Rahmen des Luftwaffenvertrags Nr. FA8702-15-D-0001 unterstützt wurden. Alle in diesem Material geäußerten Meinungen, Erkenntnisse, Schlussfolgerungen oder Empfehlungen sind die des Autors/der Autoren und spiegeln nicht unbedingt die Ansichten des Unterstaatssekretärs für Forschung und Technik des Verteidigungsministeriums wider. Die Autoren danken Craig Ferguson für seine Hilfe bei der Entwicklung der benutzerdefinierten Etikettierungs-App, Ayelet Kershenbaum und Amanda O'Brien für ihr Feedback und ihre Erkenntnisse sowie Michelle Luo und Yuji Chan für ihren Beitrag zur Gestaltung der Lehrmaterialien. Sie danken auch den Teilnehmern dieser Studie für ihre Zeit, Mühe, ihr Feedback und ihre Datenbeiträge. Zur öffentlichen Veröffentlichung freigegeben. Die Verbreitung ist unbegrenzt.

Diese Autoren haben gleichermaßen beigetragen: Kristina T. Johnson, Jaya Narain.

Massachusetts Institute of Technology, MIT Media Lab, Cambridge, MA, USA

Kristina T. Johnson, Jaya Narain, Pattie Maes und Rosalind W. Picard

Massachusetts Institute of Technology, Lincoln Laboratory, Lexington, MA, USA

Thomas Quatieri

Sie können diesen Autor auch in PubMed Google Scholar suchen

KTJ und JN konzipierten die Studie, führten die Experimente und Datenerfassung durch, analysierten die Ergebnisse und verfassten das Manuskript. JN entwarf die Verarbeitungsalgorithmen und richtete die Lautäußerungen aus und segmentierte sie. KTJ und TQ waren Teilnehmer der Studie. TQ, RP und PM stellten technische Betreuung zur Verfügung. Alle Autoren haben das Manuskript überprüft.

Korrespondenz mit Kristina T. Johnson oder Jaya Narain.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Anmerkung des Herausgebers Springer Nature bleibt hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten neutral.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die Originalautor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Johnson, KT, Narain, J., Quatieri, T. et al. ReCANVo: Eine Datenbank realer kommunikativer und affektiver nonverbaler Lautäußerungen. Sci Data 10, 523 (2023). https://doi.org/10.1038/s41597-023-02405-7

Zitat herunterladen

Eingegangen: 14. Februar 2022

Angenommen: 24. Juli 2023

Veröffentlicht: 05. August 2023

DOI: https://doi.org/10.1038/s41597-023-02405-7

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein gemeinsam nutzbarer Link verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Nachricht