Uma equipe técnica de avaliação de políticas públicas culturais precisa planejar uma pesquisa amostral para estimar a proporção de municípios que apresentam execução satisfatória de metas pactuadas em um programa federal.
O desempenho é considerado satisfatório quando até 5% das metas pactuadas não são cumpridas. Em contrapartida, é considerado insatisfatório quando 20% ou mais das metas pactuadas não são cumpridas.
Os dados prévios são limitados, e a equipe deseja garantir decisões estatisticamente robustas — especialmente quanto à aceitação ou rejeição de municípios com base nos indicadores reportados. Para definir o tamanho da amostra e a regra de decisão sobre o desempenho dos municípios, a equipe técnica estabeleceu os seguintes critérios:
• a margem de erro máxima permitida para estimar a proporção populacional de municípios com desempenho satisfatório é de 4%;
• o nível de confiança deve ser de 95%;
• os erros do tipo I e II devem ser controlados de modo que:
▪ municípios com desempenho considerado bom sejam rejeitados erroneamente em, no máximo, 5% dos casos;
▪ municípios com desempenho considerado ruim sejam aceitos erroneamente em, no máximo, 10% dos casos.
Com base nessas informações, uma interpretação adequada dos parâmetros definidos pela equipe é a de que:
- A a rejeição de municípios que apresentem até 5% de metas descumpridas caracteriza um erro tipo II, indicando falha na detecção de conformidade;
- B o erro do tipo I está associado à aceitação indevida de municípios com desempenho insatisfatório, o que pode comprometer a credibilidade do programa;
- C a equipe pretende manter o erro tipo I em 5% e o tipo II em 10%, o que exigirá uma amostra suficientemente grande para garantir poder estatístico e minimizar rejeições indevidas;
- D como o nível de confiança adotado é de 95% e a margem de erro é de 4%, é possível estimar a proporção populacional com segurança mesmo sem controle sobre os erros tipo I e II;
- E em situações sem informação prévia sobre a proporção de municípios com bom desempenho, o valor de 0,25 deve ser utilizado no cálculo da amostra, pois reduz o viés amostral e aumenta a precisão da inferência.