From performance auditing to public policy evaluation: conceptual foundations for a new paradigm of action for courts of accounts
DOI: https://doi.org/10.32586/rcda.v24i2.1101
Keywords:
Courts of Accounts, public policy evaluation, performance auditing, democratic governance, evidence-informed policiesAbstract
This study examines the limitations of the traditional model of Brazilian Courts of Accounts in public policy evaluation and proposes the conceptual foundations for an alternative approach. It is a theoretical-conceptual and argumentative essay, structured around three complementary analytical movements: (i) a narrative review of the international literature on public policy evaluation, contrasting Evidence-Based Policy and Evidence-Informed Policy approaches; (ii) an analysis of government auditing standards, particularly INTOSAI guidelines and NBASP 9020; and (iii) the construction of an alternative evaluative model. It argues that traditional audit models, centered on individual accountability and procedural compliance, are structurally insufficient given the complexity, interdependence, and value-laden nature of contemporary policies. As a result, a new operational model is proposed, organized around four pillars: recognition of systemic complexity of state interventions; focus on diagnosing systemic failures rather than individual accountability; a propositional, pedagogical, and informative role; and coordinated action within institutional networks. The study concludes that Courts of Accounts possess the institutional and normative conditions to shift from a predominantly sanctioning logic to one oriented toward strategic knowledge production and the strengthening of democratic governance, while preserving their traditional oversight competencies.
Metrics
References
ANDERSON, P. W. More is different. Science, v. 177, n. 4047, p. 393-396, 1972.
BOVENS, M.; HART, P.; KUIPERS, S. The politics of policy evaluation. In: MORAN, M.; REIN, M.; GOODIN, R. E. (org.). The Oxford Handbook of Public Policy. Oxford: Oxford University Press, 2006.
BRASIL. Presidência da República. Casa Civil. Avaliação de políticas públicas: guia prático de análise ex ante. Brasília, 2018, v. 1.
BRASIL. Tribunal de Contas da União. Manual de auditoria operacional. 4. ed. Brasília: TCU, 2020.
DAVIES, H. T. O.; NUTLEY, S. M.; SMITH, P. C. (org.). What works? Evidence-based policy and practice in public services. Bristol: Policy Press, 2000.
DUNLOP, C. A.; RADAELLI, C. M. Policy learning and policy evaluation. In: VARONE, F.; JACOB, S.; BUNDI, P. (org.). Handbook of Public Policy Evaluation. Cheltenham: Edward Elgar, 2023. p. 76-92.
FARIA, C. A. P. de. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, v. 20, n. 59, p. 95-111, 2005.
FISCHER, F.; MILLER, G. J.; SIDNEY, M. S. (org.). Handbook of public policy analysis: theory, politics, and methods. Boca Raton: CRC Press, 2007.
FISCHER, F. Reframing public policy: discursive politics and deliberative practices. New York: Oxford University Press, 2003.
FONTAINE, G. Realist evaluation in the policy design framework. In: VARONE, Frédéric; JACOB, S.; BUNDI, P. (Org.). Handbook of Public Policy Evaluation. Cheltenham: Edward Elgar, 2023. p. 47-63.
FUNDAÇÃO TIDE SETUBAL. O fenômeno do apagão das canetas: efeitos da dinâmica do controle para servidores e para políticas públicas de áreas-fim. Coordenação de pesquisa: Gabriela Lotta; Vera Monteiro. São Paulo: Fundação Tide Setubal, 2024.
FUNG, A. Varieties of participation in complex governance. Public Administration Review, v. 66, n. s1, p. 66-75, 2006.
FURTADO, B. A.; SAKOWSKI, P. A. M.; TÓVOLLI, M. H. (Org.). Modelagem de sistemas complexos para políticas públicas. Brasília: Ipea, 2015.
HAJER, M.; LAWS, D. Deliberative policy analysis: a discursive perspective. In: MORAN, M.; REIN, M.; GOODIN, R. E. (Org.). The Oxford Handbook of Public Policy. Oxford: Oxford University Press, 2006. p. 291-309.
HAN, Y. The contribution of evaluation to accountability mechanisms. In: VARONE, Frédéric; JACOB, Steve; BUNDI, Pirmin (org.). Handbook of Public Policy Evaluation. Cheltenham: Edward Elgar, 2023. p. 104-117.
HEAD, B. W. Reconsidering the evidence-based policy agenda. The Australian Journal of Public Administration, v. 69, n. 4, p. 361-375, 2010.
HEAD, B. W. Toward more “evidence-informed” policy making? Public Administration Review, v. 76, n. 3, p. 472-484, 2016.
INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS. GUID 3910: central concepts for performance auditing. Viena: INTOSAI, 2016a.
INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS. GUID 3920: the performance auditing process. Viena: INTOSAI, 2016b.
INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS. GUID 9020: evaluation of public policies. Viena: INTOSAI, 2019.
IOCKEN, S. N. Controle compartilhado de políticas públicas. Belo Horizonte: Fórum, 2018.
IOCKEN, S. N. O controle das políticas públicas. In: DALLARI, A. A.; GICO JÚNIOR, I. T. (Org.). Controle da Administração Pública no Brasil. São Paulo: Blucher, 2022. p. 215-234.
JACOB, S. Navigating the challenges of policy evaluation. Canadian Public Administration, v. 67, n. 2, p. 282-290, 2024. DOI: 10.1111/capa.12571.
JANNUZZI, P. de M. Políticas públicas, valores e evidências em tempos de inteligência artificial. Campinas: Alínea, 2024.
KINGDON, J. W. Agendas, alternatives, and public policies. 2. ed. New York: Longman, 2011.
LASSANCE, A. Como construir políticas públicas, programas e projetos prontos para o monitoramento e a avaliação? Um guia prático de análise ex ante. Brasília, DF: Ipea, 2025.
LOUREIRO, R. D. A avaliação de políticas públicas pelos Tribunais de Contas. In: LIMA, E. C. P. (Coord.). Os Tribunais de Contas e as políticas públicas. Belo Horizonte: Fórum, 2023, p. 525-536.
MAJONE, G. Evidence, argument, and persuasion in the policy process. New Haven: Yale University Press, 1989.
MEADOWS, D. H. Pensando em sistemas: como o pensamento sistêmico pode ajudar a resolver os principais problemas globais. Tradução de Marcelo Douek. São Paulo: Trevisan Editora, 2019.
MELLO, D. Controle externo brasileiro e a auditoria operacional como instrumento de atuação fiscalizatória concomitante: construção de um arcabouço teórico acerca da ferramenta auditoria operacional. In: LIMA, E. C. P. (Coord.). Os Tribunais de Contas e as políticas públicas. Belo Horizonte: Fórum, 2023, p. 107-155.
MENEGHETTI, F. K. O que é um ensaio-teórico? Revista de Administração Contemporânea, v. 15, n. 2, p. 320-332, 2011.
NUTLEY, S. M.; SMITH, P. C.; DAVIES, H. T. O. Evidence-based policy and practice: cross-sectoral lessons from the UK. Public Money & Management, v. 21, n. 1, p. 29-36, 2001.
ORGANIZAÇÃO PARA A COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO. Policy framework on sound public governance. Paris: OECD Publishing, 2020.
PAWSON, R. Evidence-based policy: a realist perspective. London: Sage Publications, 2006.
PAWSON, R.; TILLEY, N. Realistic evaluation. London: Sage Publications, 1997.
PIDDINGTON, G. V. A.; MACKILLOP, E.; DOWNE, J. Do policy actors have different views of what constitutes evidence in policymaking? Policy & Politics, v. 52, n. 2, p. 239-258, 2024.
PIRES, R.; LOTTA, G. Policy evaluation and the reproduction of social inequalities. In: VARONE, F.; JACOB, S.; BUNDI, P. (Org.). Handbook of Public Policy Evaluation. Cheltenham: Edward Elgar, 2023. p. 154-168.
REDE BRASILEIRA DE MONITORAMENTO E AVALIAÇÃO. Competências em avaliação para o Brasil. Brasília: RBMA, 2020b.
REDE BRASILEIRA DE MONITORAMENTO E AVALIAÇÃO. Diretrizes para a prática da avaliação no Brasil. Brasília: RBMA, 2020a.
RHODES, R. A. W. Policy network analysis. In: MORAN, M.; REIN, M.; GOODIN, R. E. (org.). The Oxford Handbook of Public Policy. Oxford: Oxford University Press, 2006. p. 425-447.
SOUZA, C. Políticas públicas: uma revisão da literatura. Sociologias, Porto Alegre, ano 8, n. 16, p. 20-45, jul./dez. 2006.
STONE, D. Policy paradox: the art of political decision making. 3. ed. New York: W. W. Norton & Company, 2012.
VARONE, F.; JACOB, S.; BUNDI, P. (org.). Handbook of Public Policy Evaluation. Cheltenham: Edward Elgar, 2023.
VEDUNG, E. Public policy and program evaluation. New York: Routledge, 2017.
WEBER, M. Economia e sociedade: fundamentos da sociologia compreensiva. Tradução de Regis Barbosa e Karen Elsabe Barbosa. 4. ed. Brasília: Editora UnB, 2004. v. 2.
WEISS, C. H. Evaluation: methods for studying programs and policies. 2. ed. Upper Saddle River: Prentice Hall, 1998.
YANOW, D. Interpretive policy analysis. In: MORAN, M.; REIN, M.; GOODIN, R. E. (org.). The Oxford Handbook of Public Policy. Oxford: Oxford University Press, 2006. p. 115-131.
YIN, R. K. Case study research and applications: design and methods. 6. ed. Thousand Oaks: Sage Publications, 2018.
References
ANDERSON, P. W. More is different. Science, v. 177, n. 4047, p. 393-396, 1972.
BOVENS, M.; HART, P.; KUIPERS, S. The politics of policy evaluation. In: MORAN, M.; REIN, M.; GOODIN, R. E. (org.). The Oxford Handbook of Public Policy. Oxford: Oxford University Press, 2006.
BRASIL. Presidência da República. Casa Civil. Avaliação de políticas públicas: guia prático de análise ex ante. Brasília, 2018, v. 1.
BRASIL. Tribunal de Contas da União. Manual de auditoria operacional. 4. ed. Brasília: TCU, 2020.
DAVIES, H. T. O.; NUTLEY, S. M.; SMITH, P. C. (org.). What works? Evidence-based policy and practice in public services. Bristol: Policy Press, 2000.
DUNLOP, C. A.; RADAELLI, C. M. Policy learning and policy evaluation. In: VARONE, F.; JACOB, S.; BUNDI, P. (org.). Handbook of Public Policy Evaluation. Cheltenham: Edward Elgar, 2023. p. 76-92.
FARIA, C. A. P. de. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, v. 20, n. 59, p. 95-111, 2005.
FISCHER, F.; MILLER, G. J.; SIDNEY, M. S. (org.). Handbook of public policy analysis: theory, politics, and methods. Boca Raton: CRC Press, 2007.
FISCHER, F. Reframing public policy: discursive politics and deliberative practices. New York: Oxford University Press, 2003.
FONTAINE, G. Realist evaluation in the policy design framework. In: VARONE, Frédéric; JACOB, S.; BUNDI, P. (Org.). Handbook of Public Policy Evaluation. Cheltenham: Edward Elgar, 2023. p. 47-63.
FUNDAÇÃO TIDE SETUBAL. O fenômeno do apagão das canetas: efeitos da dinâmica do controle para servidores e para políticas públicas de áreas-fim. Coordenação de pesquisa: Gabriela Lotta; Vera Monteiro. São Paulo: Fundação Tide Setubal, 2024.
FUNG, A. Varieties of participation in complex governance. Public Administration Review, v. 66, n. s1, p. 66-75, 2006.
FURTADO, B. A.; SAKOWSKI, P. A. M.; TÓVOLLI, M. H. (Org.). Modelagem de sistemas complexos para políticas públicas. Brasília: Ipea, 2015.
HAJER, M.; LAWS, D. Deliberative policy analysis: a discursive perspective. In: MORAN, M.; REIN, M.; GOODIN, R. E. (Org.). The Oxford Handbook of Public Policy. Oxford: Oxford University Press, 2006. p. 291-309.
HAN, Y. The contribution of evaluation to accountability mechanisms. In: VARONE, Frédéric; JACOB, Steve; BUNDI, Pirmin (org.). Handbook of Public Policy Evaluation. Cheltenham: Edward Elgar, 2023. p. 104-117.
HEAD, B. W. Reconsidering the evidence-based policy agenda. The Australian Journal of Public Administration, v. 69, n. 4, p. 361-375, 2010.
HEAD, B. W. Toward more “evidence-informed” policy making? Public Administration Review, v. 76, n. 3, p. 472-484, 2016.
INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS. GUID 3910: central concepts for performance auditing. Viena: INTOSAI, 2016a.
INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS. GUID 3920: the performance auditing process. Viena: INTOSAI, 2016b.
INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS. GUID 9020: evaluation of public policies. Viena: INTOSAI, 2019.
IOCKEN, S. N. Controle compartilhado de políticas públicas. Belo Horizonte: Fórum, 2018.
IOCKEN, S. N. O controle das políticas públicas. In: DALLARI, A. A.; GICO JÚNIOR, I. T. (Org.). Controle da Administração Pública no Brasil. São Paulo: Blucher, 2022. p. 215-234.
JACOB, S. Navigating the challenges of policy evaluation. Canadian Public Administration, v. 67, n. 2, p. 282-290, 2024. DOI: 10.1111/capa.12571.
JANNUZZI, P. de M. Políticas públicas, valores e evidências em tempos de inteligência artificial. Campinas: Alínea, 2024.
KINGDON, J. W. Agendas, alternatives, and public policies. 2. ed. New York: Longman, 2011.
LASSANCE, A. Como construir políticas públicas, programas e projetos prontos para o monitoramento e a avaliação? Um guia prático de análise ex ante. Brasília, DF: Ipea, 2025.
LOUREIRO, R. D. A avaliação de políticas públicas pelos Tribunais de Contas. In: LIMA, E. C. P. (Coord.). Os Tribunais de Contas e as políticas públicas. Belo Horizonte: Fórum, 2023, p. 525-536.
MAJONE, G. Evidence, argument, and persuasion in the policy process. New Haven: Yale University Press, 1989.
MEADOWS, D. H. Pensando em sistemas: como o pensamento sistêmico pode ajudar a resolver os principais problemas globais. Tradução de Marcelo Douek. São Paulo: Trevisan Editora, 2019.
MELLO, D. Controle externo brasileiro e a auditoria operacional como instrumento de atuação fiscalizatória concomitante: construção de um arcabouço teórico acerca da ferramenta auditoria operacional. In: LIMA, E. C. P. (Coord.). Os Tribunais de Contas e as políticas públicas. Belo Horizonte: Fórum, 2023, p. 107-155.
MENEGHETTI, F. K. O que é um ensaio-teórico? Revista de Administração Contemporânea, v. 15, n. 2, p. 320-332, 2011.
NUTLEY, S. M.; SMITH, P. C.; DAVIES, H. T. O. Evidence-based policy and practice: cross-sectoral lessons from the UK. Public Money & Management, v. 21, n. 1, p. 29-36, 2001.
ORGANIZAÇÃO PARA A COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO. Policy framework on sound public governance. Paris: OECD Publishing, 2020.
PAWSON, R. Evidence-based policy: a realist perspective. London: Sage Publications, 2006.
PAWSON, R.; TILLEY, N. Realistic evaluation. London: Sage Publications, 1997.
PIDDINGTON, G. V. A.; MACKILLOP, E.; DOWNE, J. Do policy actors have different views of what constitutes evidence in policymaking? Policy & Politics, v. 52, n. 2, p. 239-258, 2024.
PIRES, R.; LOTTA, G. Policy evaluation and the reproduction of social inequalities. In: VARONE, F.; JACOB, S.; BUNDI, P. (Org.). Handbook of Public Policy Evaluation. Cheltenham: Edward Elgar, 2023. p. 154-168.
REDE BRASILEIRA DE MONITORAMENTO E AVALIAÇÃO. Competências em avaliação para o Brasil. Brasília: RBMA, 2020b.
REDE BRASILEIRA DE MONITORAMENTO E AVALIAÇÃO. Diretrizes para a prática da avaliação no Brasil. Brasília: RBMA, 2020a.
RHODES, R. A. W. Policy network analysis. In: MORAN, M.; REIN, M.; GOODIN, R. E. (org.). The Oxford Handbook of Public Policy. Oxford: Oxford University Press, 2006. p. 425-447.
SOUZA, C. Políticas públicas: uma revisão da literatura. Sociologias, Porto Alegre, ano 8, n. 16, p. 20-45, jul./dez. 2006.
STONE, D. Policy paradox: the art of political decision making. 3. ed. New York: W. W. Norton & Company, 2012.
VARONE, F.; JACOB, S.; BUNDI, P. (org.). Handbook of Public Policy Evaluation. Cheltenham: Edward Elgar, 2023.
VEDUNG, E. Public policy and program evaluation. New York: Routledge, 2017.
WEBER, M. Economia e sociedade: fundamentos da sociologia compreensiva. Tradução de Regis Barbosa e Karen Elsabe Barbosa. 4. ed. Brasília: Editora UnB, 2004. v. 2.
WEISS, C. H. Evaluation: methods for studying programs and policies. 2. ed. Upper Saddle River: Prentice Hall, 1998.
YANOW, D. Interpretive policy analysis. In: MORAN, M.; REIN, M.; GOODIN, R. E. (org.). The Oxford Handbook of Public Policy. Oxford: Oxford University Press, 2006. p. 115-131.
YIN, R. K. Case study research and applications: design and methods. 6. ed. Thousand Oaks: Sage Publications, 2018.
Published
Issue
Section
License
Copyright (c) 2026 Revista: apenas para a 1ª Publicação.
This work is licensed under a Creative Commons Attribution 4.0 International License.
Autores que publicam na Revista Controle – Doutrina e Artigos concordam com os seguintes termos:
1 A Revista Controle – Doutrina e Artigos não se responsabiliza pelas opiniões, ideias e conceitos emitidos nos textos, por serem de inteira responsabilidade de seu(s) autor(es), não significando necessariamente o posicionamento do Tribunal de Contas do Estado do Ceará e do Instituto Plácido Castelo;
2. O periódico segue a uma Licença Creative Commons Atribuição 4.0 Internacional (CC BY 4.0), que permite o uso e compartilhamento dos trabalhos publicados, desde que se atribua crédito aos autores e fontes;
3 O(s) responsável(is) pela submissão de artigos declara(m), sob as penas da Lei, que a informação sobre a autoria do trabalho é absolutamente completa e verdadeira;
4 O(s) autor(es) garante(m) que o artigo é original e inédito e que não está em processo de avaliação em outros periódicos;
5 A responsabilidade por eventuais plágios nos artigos publicados é de responsabilidade do(s) autor(es);
6 É reservado aos Editores o direito de proceder ajustes textuais e de adequação dos artigos às normas da publicação;
7 A Revista Controle – Doutrina e Artigos não realiza cobrança de nenhuma taxa ou contribuição financeira em razão de submissão de artigos ou de seu processamento;
8 A publicação dos artigos na Revista Controle – Doutrina e Artigos não gerará direito à remuneração de qualquer espécie; e
9 O(s) autor(es) autoriza(m) a publicação do artigo na Revista Controle – Doutrina e Artigos.