LLM – Analyste qualité IA (Personnalisation)
Spécialiste des langues : [Chinois, Coréen, Japonais, Thaï]
Remote | Opportunité de contrat |

Exigences particulières
• [Chinois, Coréen, Japonais, Thaï] Maîtrise : Capacité à lire et écrire en [chinois, coréen, japonais, thaï] avec un haut degré de compréhension, car [chinois, coréen, japonais, thaï] est la langue principale de ce projet.
• Utilisation du compte personnel : Volonté d’utiliser votre compte Google personnel principal (pas un compte de test) et d’activer les sources de données personnelles pour une évaluation authentique.
• Flexibilité des horaires : Disponibilité à temps plein dans votre fuseau horaire local est requise. Nous disposons d’une équipe opérationnelle mondiale 24h/24. Il faut maintenir 4 heures de chevauchement avec le fuseau horaire PST.
• Pensée analytique exceptionnelle : capacité démontrée à évaluer des réponses IA nuancées et ambiguës, en évaluant spécifiquement la qualité de la personnalisation.

Processus de sélection
• Formulaire de vérification des intérêts + Évaluation

Aperçu des rôles
En tant qu’analyste qualité IA, vous évaluerez une nouvelle fonctionnalité de personnalisation pour Gemini. Vous évaluerez dans quelle mesure le modèle utilise les informations issues de vos précédentes conversations Gemini, Gmail, Google Search et activité YouTube pour rendre les réponses plus pertinentes et utiles.
Ce rôle requiert un mélange unique de créativité et de rigueur analytique. Vous concevez activement des prompts à partir de vos propres expériences personnelles, puis vous utiliserez vos compétences analytiques pour évaluer la qualité des réponses personnalisées du modèle — en évaluant des dimensions comme l’ancrage, l’intégration et l’utilité.

Qualifications clés
• [Chinois, Coréen, Japonais, Thaï] Maîtrise : Capacité à lire et écrire en [chinois, coréen, japonais, thaï] avec un haut degré de compréhension — c’est l’exigence fondamentale pour ce poste.
• Utilisation du compte personnel : Volonté d’utiliser votre compte Google personnel principal (pas un compte de test) et d’activer les sources de données personnelles pour une évaluation authentique.
• Flexibilité des horaires : disponibilité à temps plein (8 heures/jour) dans votre fuseau horaire local, avec 4 heures de chevauchement avec le PST.
• Pensée analytique exceptionnelle : Capacité à évaluer les réponses nuancées et ambiguës de l’IA, notamment en ce qui concerne la qualité de la personnalisation.
• Ingénierie créative des prompts : Expérience de conception de prompts créatifs à plusieurs tours basés sur le contexte personnel pour tester minutieusement les capacités du modèle.
• Forte acuité d’évaluation : compréhension des concepts de personnalisation, y compris la capacité à identifier les mauvaises personnalisations, les inférences médiocres et les connexions forcées.
• Attention méticuleuse aux détails : Capacité à examiner les réponses des modèles Side-by-Side (SxS) et à repérer des différences subtiles de naturel et de surnarration.
• Excellente communication écrite : Capacité supérieure à rédiger des justifications claires, concises et structurées pour les classements des modèles, en faisant explicitement référence à des numéros de virage spécifiques.
• Compétences en retour : capacité à fournir des retours constructifs et des annotations détaillées.
• Collaboration : Solides compétences en communication et en travail d’équipe, avec la capacité de travailler de manière autonome en télétravail.
• Configuration technique : ordinateur de bureau ou ordinateur portable avec une connexion internet fiable.

Responsabilités quotidiennes
Au sein d’une équipe dynamique axée sur l’évaluation de la qualité des interactions personnalisées avec l’IA, votre travail quotidien comprendra :
• Concevoir et exécuter des invites conversationnelles à plusieurs tours (généralement de 1 à 5 tours) qui exigent que l’IA utilise vos informations et expériences personnelles.
• Évaluer les réponses du modèle en fonction de votre intention dès la demande de départ, vérifier si la personnalisation a été correctement appliquée.
• Analyser les réponses aux questions de grounding — s’assurer que les affirmations à votre sujet sont étayées par des preuves, et non par des inférences erronées ou des hallucinations.
• Évaluer la qualité de l’intégration afin de garantir que les données personnelles soient intégrées naturellement dans les réponses sans « sur-narration » robotique.
• Évaluer rigoureusement et empiler les deux réponses modèles côte à côte (SxS) pour déterminer laquelle est la plus utile, facile à utiliser et agréable.
• Rédiger des justifications claires et défendables pour vos comparaisons, en faisant explicitement référence aux points de discussion ou de points positifs.
• Extraction et vérification des « informations de débogage » du modèle afin de confirmer que les résumés de discussion et les sources de données ont été correctement utilisés.
• Maintenir une hygiène stricte des données en supprimant les conversations d’évaluation afin d’éviter qu’elles ne polluent votre historique de discussion futur.

Formation et expérience
• Diplôme de licence/licence ou équivalent dans un domaine pertinent (par exemple, politique, droit, éthique, linguistique, journalisme, informatique ou un domaine analytique connexe).
• L’expérience en annotation de données, évaluation de la qualité de l’IA, modération de contenu ou un rôle connexe est fortement privilégiée.