Algemeen
Wat is Automated Feedback Coach 2.0?
De Automated Feedback Coach 2.0 is bedoeld om studenten te helpen betere beoordelingen te schrijven voor hun medestudenten in en Peer Review en Group Member Evaluation activiteiten. Het biedt realtime tips om de kwaliteit van de feedback te verbeteren, zodat studenten niet alleen worden gecoacht bij het schrijven van betere feedback, maar ook de kwaliteit van de feedback die ze van medestudenten krijgen, wordt verhoogd.
Automated Feedback Coach 2.0 maakt gebruik van geavanceerde Large Language Models van Azure OpenAI Service om de input van studenten te verwerken en feedback te geven. Vergeleken met zijn voorganger is hij veel sneller, schaalbaarder en kan hij specifiekere en beter bruikbare feedback geven op basis van de context van de beoordelingen.
We hebben ervoor gekozen om OpenAI Service van Azure te gebruiken om deze functie te leveren vanwege de beveiliging, compliance en regionale beschikbaarheid op bedrijfsniveau.
Worden mijn gegevens naar OpenAI gestuurd om hun taalmodellen te trainen?
Nee. De input van studenten wordt alleen verwerkt door de taalmodellen die worden gehost op Azure om geautomatiseerde feedback te genereren.
De input wordt nooit gebruikt om de modellen van Azure OpenAI Service te trainen, te hertrainen of te verbeteren.
Bovendien gebruiken we deze modellen als een "plug-and-play" service. We trainen of fine-tunen de modellen niet voor een specifieke use case buiten het geven van aangepaste instructies aan het model. Met andere woorden, we gebruiken geen gegevens van studenten om onze modellen te hertrainen, trainen of verbeteren.
Transparantie, privacy en gegevensbeheer
Hoe worden de gegevens van studenten verwerkt en gebruikt door Automated Feedback Coach 2.0?
Je gegevens worden verwerkt in overeenstemming met het algemene privacybeleid van FeedbackFruits. Wanneer u Automated Feedback Coach 2.0 gebruikt om de beoordeling te verbeteren, worden uw gegevens in vier afzonderlijke stappen verwerkt (zie onderstaande afbeelding):
Eerst worden uw gegevens (inclusief de beoordelingstekst die u hebt geschreven, de prompt en het criterium) naar de Azure OpenAI Service gestuurd om te worden voorbereid voor verzending naar een model; dit proces staat bekend als tokeniseren.
Zodra uw gegevens zijn getokeniseerd en bij het model zijn aangekomen, maakt het model een generatie op basis van aangepaste instructies (gemaakt door FeedbackFruits) en een invoer (uw "tokens").
Nadat het model de generatie heeft voltooid, worden de instructies, de input en de generatie allemaal door het Content Moderation System en het Abuse Monitoring System van Azure OpenAI Service gestuurd om ervoor te zorgen dat zowel de input als de reactie van het model gepast zijn, geen servicevoorwaarden schenden en niet schadelijk zijn voor jou.
In het Abuse Monitoring System kan Azure OpenAI Service uw invoergegevens en de modelgeneratie maximaal 30 dagen opslaan.
Uiteindelijk wordt de modelgeneratie teruggestuurd naar FeedbackFruits in een standaard JSON-formaat van Azure via hun API. Dit bevat alleen de voltooiingsgegevens en enkele relevante metadata, waaronder de reden voor het stoppen en of er een fout is opgetreden.
(figuur: diagram van gegevensverwerking in Automated feedback coach met behulp van Azure OpenAI Service)
Bovendien worden alle relevante acties die worden uitgevoerd door of binnen de Azure OpenAI Service uitgevoerd in de regio waarin u FeedbackFruits gebruikt om te voldoen aan de vereisten voor gegevensresidentie en om de latentie te verbeteren.
De input van studenten wordt nooit gebruikt om modellen van Azure OpenAI Service te trainen, te hertrainen of te verbeteren. Op dit moment gebruiken we de input van studenten ook niet om de instantie van het model dat we gebruiken te fine-tunen.
Om meer te lezen over hoe Azure jouw gegevens verwerkt en gebruikt, ga je naar Azure OpenAI Service's pagina over gegevens, privacy en beveiliging.
Wat zijn het Content Moderation System en het Abuse Monitoring System?
FeedbackFruits maakt gebruik van het Azure waarschuwingssysteem om ervoor te zorgen dat zowel de invoer in het model als de reactie van het model correct zijn, geen inbreuk maken op de servicevoorwaarden en niet schadelijk voor u zijn. Het waarschuwingssysteem bestaat uit het Content Moderation System en het Abuse Monitoring System.
Het Content Moderation System is een eigen verzameling modellen (bekend als een "ensemble") die getraind zijn om potentieel misbruik, verkeerd gebruik of schadelijke contentgeneratie binnen de Azure OpenAI Service te detecteren. De Azure OpenAI Service slaat geen metadata op met betrekking tot het gebruik van het Content Moderation System.
Het Abuse Monitoring System controleert op misbruik of oneigenlijk gebruik van de service dat in strijd zou kunnen zijn met de toepasselijke productvoorwaarden van Azure. Alleen specifieke geautoriseerde Microsoft-medewerkers mogen uw gegevens bekijken in het geval dat bepaalde inhoud mogelijk misbruik van het systeem heeft veroorzaakt. In het geval van misbruik van het systeem zal een bevoegde medewerker direct contact opnemen met FeedbackFruits om het probleem op te lossen en verder misbruik te voorkomen. Azure OpenAI Service slaat uw invoergegevens en de modelgeneratie maximaal 30 dagen op om te controleren of er gebruik wordt gemaakt van de Azure OpenAI Service dat direct in strijd is met de toepasselijke productvoorwaarden van Microsoft.
Ga voor meer informatie naar de gegevensprivacypagina van Azure OpenAI Service en de Gedragscode.
Wat staat er in je prompt?
Een prompt is een set specifieke instructies die aan een groot taalmodel wordt gegeven om een bepaald type reactie te genereren of een bepaalde taak uit te voeren. Prompts zorgen ervoor dat het AI-model weet wat en hoe het moet reageren.
Voorbeelden van prompts zijn "Schrijf me een kort verhaal over schildpadden en konijnen", "Leg me de maanlanding uit alsof ik 10 jaar oud ben", of "Help me mijn feedback in het Nederlands te vertalen".
Omdat prompts aanwijzingen of richtlijnen bevatten die helpen bij het maken van een functie, kunnen ze ook worden beschouwd als intellectueel eigendom. Hoewel we de exacte prompt niet kunnen onthullen, zijn hier enkele elementen die deel uitmaken van de prompt voor de Automated Feedback Coach 2.0:
Reageer op een behulpzame en coachbare manier.
Zorg ervoor dat de feedback betrekking heeft op de gegeven criteria.
Neem de feedback en de context (zoals de criteria) op in een specifiek formaat.
Complimenteer en moedig studenten aan om betere feedback te geven.
Reageer niet op wartaal, willekeurige tekst of dingen die niets te maken lijken te hebben met het geven van feedback aan een medestudent.
Bied verbeterpunten aan.
Menselijk gezag en toezicht
Kan ik ervoor kiezen om Automated Feedback Coach 2.0 niet te gebruiken?
Als docent of student kun je kiezen of je Automated Feedback Coach 2.0 wel of niet wilt gebruiken. Voor studenten geldt dat je, zelfs nadat een docent de coach voor je heeft ingeschakeld, deze kunt uitschakelen in je voorkeuren.
Raadpleeg voor meer informatie dit artikel.
Eerlijkheid
Werkt de Automatische Feedback Coach ook in andere talen dan Engels?
Ja. De Automatische Feedback Coach geeft op dit moment feedback in het Engels, Nederlands en Frans.
De taal van de feedback is afhankelijk van de instellingen van de student in FeedbackFruits.
Houd er rekening mee dat de kwaliteit van AI-gegenereerde feedback in verschillende talen kan variëren. Dit komt doordat de trainingsgegevens voor geavanceerde taalmodellen grotendeels afkomstig zijn uit openbare bronnen die voornamelijk in het Engels zijn opgesteld. De hoeveelheid en kwaliteit van beschikbare gegevens in andere talen kan aanzienlijk verschillen.
Relevante Azure OpenAI Service Documenten
Raadpleeg de volgende bronnen voor meer informatie over hoe gegevens worden verwerkt door Azure OpenAI Service: