Přejít k obsahu


Framework for conducting tasks requiring human assessment

Citace:
GRŮBER, M.., CHÝLEK, A.., MATOUŠEK, J.. Framework for conducting tasks requiring human assessment. In Proceedings of the 20th Annual Conference of the International Speech Communication Association (Interspeech 2019). Red Hook, NY: Curran Associates, Inc., 2019. s. 4626-4627. ISBN: 978-1-5108-9683-3 , ISSN: 2308-457X
Druh: STAŤ VE SBORNÍKU
Jazyk publikace: eng
Anglický název: Framework for conducting tasks requiring human assessment
Rok vydání: 2019
Místo konání: Red Hook, NY
Název zdroje: Curran Associates, Inc.
Autoři: Ing. Martin Grůber Ph.D. , Ing. Adam Chýlek , doc. Ing. Jindřich Matoušek Ph.D. ,
Abstrakt CZ: Článek popisuje webový framework, který zlepšuje a zjednodušuje návrh a publikování úkolů, které vyžadují zapojení člověka. Takovými úkoly jsou například ohodnocení kvality řeči, přepis textu, kategorizace obrázků nebo anotace. Hlavním cílem jsou však úkoly ve formě poslechových testů pro hodnocení kvality syntetizované řeči. Framework je velmi flexibilní a umožňuje vytvoření a publikování různých typů úkolů. Účastníci pracují na úkolech přes webové GUI a jejich odpovědi jsou zaznamenány v databázi. Framework je možno integrovat jako externí úkol do platformy Amazon Mechanical Turk, ale funguje i nezávisle jako samostatná platforma.
Abstrakt EN: This paper presents a web-based framework that improves and simplifies the design and the deployment of tasks that require human input. These tasks may include speech, text or image transcription, annotation and evaluation. The focus is on listening tests for the purpose of a speech synthesis quality assessment. The framework is quite flexible, i.e. many different types of tasks can be prepared and presented to participants. The participants can then work on the tasks via a user-friendly GUI and their responses are recorded in a database. The framework is ready to be integrated as an external task for Amazon Mechanical Turk but it can also be used as a stand-alone platform.
Klíčová slova

Zpět

Patička