Como pontuamos

Avaliadores humanos que classificam dezenas de respostas tendem a variar — a mesma resposta pode ser pontuada de forma diferente consoante o que foi lido imediatamente antes, ou uma preferência inconsciente pela forma como algo é formulado. O SkillChecker utiliza um modelo de linguagem de grande escala da OpenAI para avaliar cada resposta segundo os mesmos critérios escritos, sem nome, currículo ou fotografia à vista — apenas a pergunta e a resposta. (Não fixamos esta página a uma versão específica do modelo, uma vez que o modelo subjacente pode mudar ao longo do tempo — os critérios abaixo são o que se mantém constante.)

Isto evita um modo de falha específico — favorecer um participante por quem é — embora não signifique que o próprio julgamento do modelo esteja isento de enviesamento em todos os outros aspetos. A secção seguinte explica o que isto cobre e o que não cobre.

Uma pergunta justa é se o modelo favorece determinados estilos de escrita, dialetos, vocabulário, ou níveis de formalidade, mesmo sem saber quem escreveu uma resposta. Não podemos afirmar honestamente que não — ninguém que desenvolva sobre um modelo de linguagem de grande escala pode afirmar isso de forma responsável. Estes modelos são treinados com enormes quantidades de texto e podem ter preferências subtis por determinadas formulações ou registos que nada têm a ver com a correção da resposta.

O que podemos apontar é uma mitigação real e específica, não uma promessa: todos os pedidos de avaliação instruem explicitamente o modelo a pontuar com base na precisão, profundidade e compreensão prática — e explicitamente não no estilo de escrita, extensão ou polimento. Essa restrição está genuinamente presente no pedido, não é apenas uma afirmação sobre ele, e destina-se a reduzir o risco de uma formulação confiante ou eloquente ser confundida com correção. Não realizámos um estudo formal que quantifique essa redução, por isso não a afirmaremos — isto não garante que o modelo não tenha enviesamento residual, o que é uma limitação da tecnologia subjacente, não algo que este produto tenha resolvido.

É também por isso que tratamos uma pontuação como um contributo para uma decisão, não a decisão em si. Todos os relatórios vêm com perguntas de entrevista de acompanhamento, especificamente para que um humano possa aprofundar antes de alguém ser excluído ou avançar.

O SkillChecker executa dois tipos diferentes de avaliação, e cada um verifica coisas diferentes:

• Verificação de competências — verifica as respostas de um participante em relação às suas próprias competências e experiência declaradas, e nada mais. A pergunta "esta resposta demonstra a competência que esta pessoa em particular afirma ter" é o que está a ser pontuado.
• Avaliação de função — verifica todos os participantes em relação a uma referência fixa para a própria função, sem qualquer envolvimento das afirmações individuais. Todos os que são avaliados para uma determinada função são medidos segundo o mesmo padrão, o que torna as suas pontuações diretamente comparáveis entre si.

Cada resposta é avaliada principalmente pela precisão, profundidade, e compreensão prática da competência específica que a pergunta visa — a qualidade do raciocínio e o julgamento fazem parte disso: segundo o nosso critério, uma resposta superficial ou ilógica pontua mais baixo em profundidade e compreensão, não automaticamente, mas porque é precisamente isso que estes dois critérios foram concebidos para captar. O que é explicitamente excluído é o polimento da escrita, a extensão e a formatação: uma resposta curta, precisa e correta pontua mais alto do que uma longa e vaga disfarçada de linguagem confiante. O modelo é especificamente instruído a ser cético em relação a respostas genéricas e evasivas que evitam especificidades, uma vez que isso é tratado como um sinal de que a afirmação subjacente pode não se sustentar.

Uma exceção honesta: se uma função exige genuinamente uma comunicação escrita forte, isso tem de estar incorporado na própria pergunta (por exemplo, "escreva a mensagem que enviaria a X"), não pode ser presumido automaticamente — o SkillChecker não pontua separadamente a qualidade da comunicação, a menos que uma pergunta seja concebida especificamente para a testar.

Cada resposta é também avaliada no contexto em que foi dada. Uma avaliação feita ao vivo, a meio de uma entrevista sem tempo para preparação, é avaliada quanto ao raciocínio e direção corretos — não quanto ao polimento ou à exaustividade. Uma concluída antecipadamente, ao ritmo do próprio participante, é avaliada segundo as expectativas completas da avaliação. E se o temporizador de um participante terminar antes de este concluir, respostas curtas ou em falta causadas por isso não são usadas contra ele — apenas a substância do que escreveu é julgada.

Cada pergunta obtém a sua própria pontuação de 0 a 100, com uma ou duas frases de avaliação específica a explicar porquê. A pontuação geral apresentada em todos os relatórios, anéis e painéis é uma simples média dessas pontuações por pergunta — cada pergunta tem o mesmo peso, calculada pelo nosso próprio código, não um julgamento à parte que a IA inventa por si mesma. Se conseguir ver as pontuações por pergunta, pode recalcular a pontuação geral você mesmo.

A mesma resposta deveria pontuar exatamente o mesmo duas vezes? Reduzimos deliberadamente a aleatoriedade do modelo para efeitos de avaliação, pelo que uma repetição deverá situar-se no mesmo intervalo, sem oscilar drasticamente — mas não afirmaremos que é idêntica ao pormenor em todas as vezes. Os modelos de linguagem não são calculadoras determinísticas; uma pequena variação entre execuções é uma característica inerente à tecnologia, não uma falha específica deste produto. O que se mantém fixo são os critérios aplicados, não necessariamente o número exato.

A etiqueta que vê — Verificado, Parcialmente Verificado, ou Não Verificado (Referência Forte/Adequada/Fraca para avaliações de função) — não é a opinião da IA. Resulta de uma regra fixa, aplicada da mesma forma a todos os relatórios, em qualquer parte do produto:

Porquê estes limites específicos, e não outra divisão? São uma escolha de design deliberada, não um número derivado de um estudo estatístico de validação — não realizámos nenhum, e preferimos dizê-lo a dar a entender o contrário. O raciocínio por trás deles: 75 define o limiar para "Verificado" acima do ponto médio de forma deliberada, para que um desempenho médio não conte como aprovação — exige respostas genuinamente fortes em toda a linha, não apenas respostas ligeiramente adequadas. Abaixo de 50 significa que a média das respostas ficou aquém do limiar exigido. Os mesmos dois números são usados em todo o produto, para que a cor do anel, o texto do rótulo e o veredito do painel nunca possam discordar entre si.

Não é comparável entre avaliações diferentes. Um 75 na avaliação de uma função e um 75 na avaliação de uma função diferente não estão a medir a mesma coisa — perguntas diferentes, competências diferentes, profundidade exigida diferente. As pontuações só são diretamente comparáveis a outras pontuações da mesma avaliação, ou às afirmações feitas na mesma Verificação de Competências.

Não é uma medida do participante como um todo. Reflete o desempenho de um conjunto específico de respostas, dadas num determinado momento, face a este critério — não a inteligência, o potencial, ou a adequação geral a uma função. Muitos sinais reais sobre um participante estão fora do que uma avaliação escrita consegue captar.

Não é uma percentagem de respostas "corretas". Ao contrário de um teste de escolha múltipla, não existe uma grelha de respostas fixa a ser verificada — cada resposta recebe um julgamento holístico de 0 a 100 segundo os critérios acima, e a pontuação geral é a média desses julgamentos, não uma contagem de certas versus erradas.

Esta ferramenta foi criada para apoiar uma decisão de contratação, não para a substituir. Não verifica a identidade, nem deteta se alguém teve ajuda externa ao responder. Trate um relatório como uma peça de evidência bem estruturada, não como um veredito sobre uma pessoa.

O SkillChecker assinala três coisas enquanto um participante está a fazer uma avaliação: se ocorreu um evento de colar texto, se o texto apareceu no ecrã mais rápido do que uma pessoa consegue realmente escrever, e se saiu do separador do navegador várias vezes. Os três são factos de temporização e de eventos do navegador, não uma suposição sobre o estilo de escrita — deliberadamente não tentamos avaliar se uma resposta "parece ter sido escrita por IA", porque essa abordagem não é fiável e está bem documentado que falha com falantes não nativos de inglês e outros estilos de escrita legítimos com muito mais frequência do que deteta algo real.

Uma única mudança de separador não é assinalada por si só — isso é comum e frequentemente inofensivo (verificar as horas, uma notificação). Só se torna um sinal quando acontece mais do que uma vez.

Nenhum destes sinalizadores altera uma pontuação. São mostrados ao recrutador como um estímulo para colocar uma pergunta de acompanhamento, não uma acusação automática — colar texto não é prova de nada por si só; alguém pode ter colado notas que escreveu anteriormente, e sair do separador pode simplesmente significar que chegou uma notificação.

Usar IA para avaliar candidatos a um emprego é tratado como uma utilização de risco elevado no Regulamento Europeu da IA. Não vamos tentar sair dessa categoria — avaliar pessoas para trabalhar é exatamente aquilo para que foi escrito, e esta ferramenta avalia pessoas para trabalhar.

Parte do que o Regulamento exige já está nesta página, porque era o que fazia sentido publicar de qualquer forma: como funciona a pontuação, os limiares, o que excluímos deliberadamente e onde estão os limites. Outra parte está por detrás da página — uma pessoa na empresa que recruta decide, vê as respostas e não apenas um número, os sinais de integridade nunca tocam na pontuação, e as respostas são eliminadas segundo um calendário publicado. O Regulamento proíbe também inferir emoções das pessoas em contexto de recrutamento. Não o fazemos, e não há qualquer câmara ou microfone envolvido em momento algum.

O que não fazemos é afirmar que está terminado. A nossa classificação formal ao abrigo do Regulamento, e a documentação que dela decorre, está com os nossos consultores jurídicos. Preferimos dizê-lo com clareza a exibir um selo que não merecemos.