Cómo puntuamos

Las personas que corrigen decenas de respuestas tienden a desviarse: la misma respuesta puede recibir puntajes distintos según lo que se haya leído justo antes, o por una preferencia inconsciente hacia una determinada forma de expresarse. SkillChecker utiliza un modelo de lenguaje de gran tamaño de OpenAI para corregir cada respuesta con los mismos criterios escritos, sin ningún nombre, currículo o fotografía delante: solo la pregunta y la respuesta. (No vinculamos esta página a una versión concreta del modelo, ya que el modelo subyacente puede cambiar con el tiempo; lo que se mantiene constante son los criterios que se describen a continuación.)

Eso evita un modo de fallo concreto —favorecer a un participante por quién es—, aunque no significa que el criterio del propio modelo esté libre de sesgo en todos los demás aspectos. La siguiente sección explica qué cubre eso y qué no.

Es razonable preguntarse si el modelo favorece ciertos estilos de escritura, dialectos, vocabulario o grados de formalidad, incluso sin saber quién escribió una respuesta. No podemos afirmar honestamente que no lo haga: nadie que construya sobre un modelo de lenguaje de gran tamaño puede afirmarlo de forma responsable. Estos modelos se entrenan con cantidades enormes de texto y pueden arrastrar preferencias sutiles por determinadas formulaciones o registros que no tienen nada que ver con que una respuesta sea correcta.

Lo que sí podemos señalar es una mitigación real y concreta, no una promesa: todas las instrucciones de corrección indican explícitamente al modelo que puntúe según la exactitud, la profundidad y la comprensión práctica, y explícitamente no según el estilo de redacción, la extensión o el acabado. Esa restricción está realmente presente en las instrucciones, no es solo una afirmación sobre ellas, y está pensada para reducir el riesgo de confundir una redacción segura o elocuente con una respuesta correcta. No hemos realizado un estudio formal que cuantifique esa reducción, así que no lo vamos a afirmar: esto no garantiza que el modelo no conserve algún sesgo residual, lo cual es una limitación de la tecnología subyacente, no algo que este producto haya resuelto.

Por eso también tratamos el puntaje como un dato de entrada para una decisión, no como la decisión en sí. Todos los informes incluyen preguntas de seguimiento para la entrevista precisamente para que una persona pueda profundizar antes de descartar o seleccionar a alguien.

SkillChecker ofrece dos tipos distintos de evaluación, y cada uno comprueba cosas diferentes:

• Verificación de competencias — comprueba las respuestas de un participante frente a las competencias y la experiencia que él mismo declara, y nada más. Lo que se puntúa es la pregunta “¿demuestra esta respuesta la competencia que esta persona concreta dice tener?”.
• Evaluación de puesto — comprueba a todos los participantes frente a un baremo fijo del propio puesto, sin que intervengan en absoluto las declaraciones de nadie. Todas las personas evaluadas para un puesto determinado se miden con el mismo estándar, y eso es lo que hace que sus puntajes sean directamente comparables entre sí.

Cada respuesta se corrige principalmente por la exactitud, profundidad, y comprensión práctica de la competencia concreta a la que apunta la pregunta — la calidad del razonamiento y el criterio forman parte de eso: según nuestro baremo, una respuesta superficial o poco lógica obtiene menos puntaje en profundidad y comprensión, no de forma automática, sino porque eso es precisamente lo que esos dos criterios están diseñados para captar. Lo que queda excluido de forma explícita es el acabado de la redacción, la extensión y el formato: una respuesta breve, precisa y correcta puntúa más que una larga y vaga adornada con un lenguaje seguro. El modelo recibe la instrucción concreta de desconfiar de las respuestas genéricas y evasivas que evitan concretar, ya que eso se interpreta como una señal de que la competencia declarada puede no sostenerse.

Una excepción honesta: si un puesto exige realmente una buena comunicación escrita, eso tiene que incorporarse a la propia pregunta (por ejemplo, “redacte el mensaje que enviaría a X”), no darse por supuesto — SkillChecker no puntúa la calidad de la comunicación por separado a menos que una pregunta esté diseñada para evaluarla directamente.

Cada respuesta se corrige también teniendo en cuenta las circunstancias en que se dio. Una evaluación realizada en directo, en mitad de una entrevista y sin tiempo para prepararse, se corrige buscando un razonamiento y una orientación correctos, no el acabado ni la exhaustividad. Una completada de antemano, al ritmo del participante, se evalúa con todas las expectativas de la evaluación. Y si a un participante se le agotó el tiempo antes de terminar, las respuestas breves o ausentes por ese motivo no se le tienen en cuenta: solo se juzga el fondo de lo que escribió.

Cada pregunta recibe su propio puntaje de 0 a 100, con una o dos frases de comentarios concretos que explican por qué. El puntaje global que aparece en cada informe, anillo y panel es la media simple de esos puntajes por pregunta — todas las preguntas ponderadas igual, calculada por nuestro propio código y no un juicio aparte que la IA se invente. Si puede ver los puntajes por pregunta, puede recalcular usted mismo el puntaje global.

¿Debería la misma respuesta puntuar exactamente igual dos veces? Reducimos deliberadamente la aleatoriedad del modelo al corregir, así que una repetición debería caer en el mismo rango y no oscilar de forma brusca, pero no vamos a afirmar que sea idéntica hasta el último punto cada vez. Los modelos de lenguaje no son calculadoras deterministas; una pequeña variación entre ejecuciones es una característica inherente a la tecnología, no un defecto propio de este producto. Lo que se mantiene fijo son los criterios que se aplican, no necesariamente la cifra exacta.

La etiqueta que ve — Verificadas, Parcialmente verificadas o Sin verificar (Nivel base sólido/adecuado/débil en las evaluaciones de puesto) — no es la opinión de la IA. Sale de una única regla fija, aplicada igual a todos los informes, en todo el producto:

¿Por qué estos umbrales concretos y no otro reparto? Son una decisión de diseño deliberada, no una cifra derivada de un estudio de validación estadística: no hemos hecho ninguno, y preferimos decirlo antes que dar a entender lo contrario. El razonamiento detrás de ellos: el 75 sitúa a propósito el umbral de “Verificadas” por encima del punto medio, para que un rendimiento medio no cuente como aprobado — hacen falta respuestas realmente sólidas en todos los frentes, no apenas suficientes. Por debajo de 50 significa que la media de sus respuestas se quedó por debajo del umbral exigido. Las mismas dos cifras se usan en todo el producto, así que el color del anillo, el texto de la etiqueta y el veredicto del panel nunca pueden contradecirse entre sí.

No es comparable entre evaluaciones distintas. Un 75 en la selección de un puesto y un 75 en la de otro no miden lo mismo: preguntas distintas, competencias distintas, profundidad exigida distinta. Los puntajes solo son directamente comparables con otros de la misma selección, o con lo declarado en la misma verificación de CV.

No es una medida del participante en su conjunto. Refleja cómo un conjunto concreto de respuestas, dadas en un momento determinado, se sostuvo frente a este baremo: no la inteligencia, el potencial ni la idoneidad general para un puesto. Muchas señales reales sobre un participante quedan fuera de lo que una evaluación escrita puede captar.

No es un porcentaje de respuestas “correctas”. A diferencia de un test de opción múltiple, no hay una clave de respuestas fija que se vaya marcando: cada respuesta recibe una valoración global de 0 a 100 según los criterios anteriores, y el puntaje global es la media de esas valoraciones, no un recuento de aciertos y fallos.

Esta herramienta está pensada para apoyar una decisión de contratación, no para sustituirla. No verifica la identidad y no detecta si alguien recibió ayuda externa al responder. Trate un informe como una prueba bien estructurada, no como un veredicto sobre una persona.

SkillChecker marca tres cosas mientras un participante realiza una evaluación: si se produjo un pegado de texto, si apareció texto en pantalla más rápido de lo que una persona puede escribir realmente y si abandonó la pestaña del navegador varias veces. Las tres son datos de tiempos y de eventos del navegador, no una conjetura sobre el estilo de redacción: deliberadamente no intentamos juzgar si una respuesta “parece escrita por una IA”, porque ese enfoque no es fiable y está bien documentado que se equivoca con hablantes no nativos y otros estilos de escritura legítimos mucho más a menudo de lo que detecta algo real.

Un único cambio de pestaña no se marca por sí solo: es habitual y a menudo inocuo (mirar la hora, una notificación). Solo se convierte en señal cuando ocurre más de una vez.

Ninguna de estas marcas cambia el puntaje. Se muestran al reclutador como un motivo para hacer una pregunta de seguimiento, no como una acusación automática: pegar texto no prueba nada por sí solo, alguien puede pegar notas que escribió antes, y salir de la pestaña podría significar simplemente que llegó una notificación.

Usar IA para evaluar a candidatos a un puesto se considera un uso de alto riesgo en el Reglamento Europeo de IA. No vamos a intentar salirnos de esa categoría: evaluar a personas para un trabajo es exactamente aquello para lo que se escribió, y esta herramienta evalúa a personas para un trabajo.

Parte de lo que exige el Reglamento ya está en esta página, porque era lo correcto para publicar de todos modos: cómo se puntúa, los umbrales, lo que excluimos deliberadamente y dónde están los límites. Otra parte está detrás de la página: una persona de la empresa que contrata decide, ve las respuestas y no solo un número, las señales de integridad nunca tocan el puntaje, y las respuestas se eliminan según un calendario publicado. El Reglamento también prohíbe inferir emociones de las personas en un contexto de selección. Eso no lo hacemos, y no interviene ninguna cámara ni micrófono en ningún momento.

Lo que no hacemos es afirmar que hemos terminado. Nuestra clasificación formal bajo el Reglamento, y la documentación que se deriva de ella, está en manos de nuestros asesores legales. Preferimos decirlo con claridad antes que mostrar un sello que no nos hemos ganado.