Vai confiar assim na casa da vovozinha

Sempre que são mostradas pesquisas eleitorais minha avó resmunga a frente da televisão: “eu não acredito nessas pesquisas, nunca ninguém me entrevistou para saber em quem eu voto”.

Isso, de fato, é uma questão intrigante: Como uma pesquisa onde foram entrevistados “apenas” 700 pessoas pode verificar o comportamento de uma população de milhões?

A resposta a essa questão passa por dois motivos:

há critérios nos procedimentos de amostragem (procura-se entrevistar uma variedade grande de pessoas, representativa da população);
os instrumentos de medida são consistentes (correspondem ao que se pretende medir). É este motivo que se pretende abordar aqui.

Quando se mede o tamanho de um móvel não há muita discussão sobre o instrumento de medida a se usar nem se ele está medindo de forma adequada. Isto porque já há instrumentos de medida prontos e testados (tais como a trena ou a fita métrica, neste caso) e basta o medidor saber usá-los corretamente para ter um resultado confiável para tomar uma boa decisão (e fazer com que a estante onde está televisão da minha avó caiba no vão da sala e ela possa, do sofá, xingar as pesquisas eleitorais).

Contudo, quando se mede comportamento humano (e esta medida envolve a subjetividade das pessoas), a construção do instrumento de medida é um aspecto delicado e que impacta fortemente nos resultados da pesquisa.

Para que um instrumento de medida seja considerado adequado para a realização de uma pesquisa, é necessário que ela seja um indicador acurado do que se pretende medir, fácil de usar e eficiente. Para avaliar uma ferramenta de medição, segundo Cooper e Schindler (2003), são necessários três critérios principais: validade, confiabilidade e praticidade.

A validade refere-se ao quanto um teste mede o que de fato se deseja medir; a confiabilidade está relacionada à acuidade e precisão do procedimento de mensuração e a praticidade está relacionada a fatores de economia, conveniência e interpretação.

Partindo da metáfora de um conjunto de dardos atirados em um alvo, a figura abaixo ilustra também os conceitos de validade e confiabilidade (explorados a seguir).

Confiabilidade

Confiabilidade significa ausência de erro aleatório. Em outras palavras, para se ter confiabilidade é necessário haver uma regularidade no procedimento de execução de um estudo (se chegar a dados de mesmo valor através de várias medições realizadas de modo idêntico).

Tomando a figura como exemplo, percebe-se que na zona de baixa confiabilidade as marcas estão esparsas, o que comprova que quem arremessou os dardos não estava tendo exatamente a mesma postura ao realizar todos os lançamentos. Isso poderia se comprar à execução de uma pesquisa, pois se não for mantido um procedimento rígido e isento de influências externas, o resultado final tenderá a se dispersar pela oscilação na execução do procedimento (um exemplo disso ocorre, por exemplo, quando uma questão de pesquisa sofre alteração ao longo dos processos de medição).

Validade

A validade perfeita sinaliza que não há nenhum erro de medida, ou seja, que “as diferenças observadas na medição refletem as verdadeiras diferenças entre os objetos (ou indivíduos)” (Malhotra, 2001, p. 265).

De uma forma geral, a validação de conteúdo consiste em “mostrar que os itens do teste são amostras do universo no qual o pesquisador está interessado”, comprovando que esta amostra é de fato representativa (Van Kolch apud GIL, 1994). Segundo Alreck e Settle (1995), uma medição de qualquer tipo é válida quando de fato mede aquilo que está se propondo a medir. O pesquisador, ao definir um método e uma amostra para um determinado estudo, deve atentar para que fatores externos não exerçam qualquer tipo de influência nas variáveis envolvidas, sob pena de ter seus resultados finais desviados de uma forma tendenciosa. Algum viés ou tendência pode ocorrer em diversos aspectos da pesquisa, não apenas na definição do método e da amostra.

A ideia de validação passa também pela preocupação com uma forma neutra de redigir as questões de um instrumento, pela forma de praticar as entrevistas para coleta de dados, gravação, processamento das informações e divulgação dos resultados (ALRECK e SETTLE, 1995).

Na figura anterior, pode-se notar que na zona de baixa validade, apesar de os arremessos estarem bem concentrados entre si, o foco está deslocado. Isso, no caso prático de uma pesquisa, poderia significar a existência de alguma tendência, pois todos os registros estão sendo deslocados do objetivo central (como exemplo, pode-se citar um entrevistador que induz o respondente a uma determinada resposta).