AVALIAÇÃO DE DESEMPENHO NO SETOR PÚBLICO:
OPORTUNIDADES DE PESQUISA COM BASE NAS LACUNAS
IDENTIFICADAS EM ESTUDOS DE CASOS
PERFORMANCE EVALUATION IN THE PUBLIC SECTOR: RESEARCH OPPORTUNITIES
BASED ON THE GAPS IDENTIFIED IN CASE STUDIES
Vinicius Abilio Martins
Professor dos Programas de Pós-Graduação em
Contabilidade (PPGC) e em Administração (PPGA)
da Universidade Estadual do Oeste do Paraná UNIOESTE
Doutor em Contabilidade pela Universidade Federal
de Santa Catarina - UFSC
Endereço: Av. Tarquínio Joslin dos Santos, 1300 –
Sala do CCSA - Lot. Universitario das Americas,
Foz do Iguaçu - PR, 85870-650
Telefone: (45) 3576-8155
E-mail: viniciusabilio@gmail.com
Recebido: 22/05/2020
Publicado: 30/12/2020
Sandra Rolim Ensslin
Professora dos Programas de Pós-Graduação em
Contabilidade (PPGC) e em Engenharia de Produção
(PPGEP) da Universidade Federal de Santa Catarina –
UFSC
Doutora em Engenharia de Produção pela Universidade
Federal de Santa Catarina - UFSC
Endereço: Campus Universitário Reitor João David
Ferreira Lima, s/nº - Centro Socioeconômico - Trindade
– Florianópolis – SC 88040-900
Telefone: (48) 3721-9560
E-mail: sensslin@gmail.com
Aprovado: 21/11/2020
RESUMO
Para apoiar as organizações, públicas e privadas, nos diversos ambientes, modelos de Avaliação de
Desempenho (AD) podem ser utilizados por serem capazes de subsidiar o gerenciamento do desempenho,
que levará em consideração as realidades competitivas onde a organização opera. Estas atividades são fontes
de contínuo debate em que acadêmicos procuram compreender melhor o processo de avaliação, enquanto
praticantes buscam formas de aumentar a eficácia das avaliações. o objetivo foi o de conhecer o que o
fragmento da literatura de avaliação de desempenho, nas publicações científicas internacionais, desenvolveu
sob a forma de estudos de caso no setor público, para assim, apontar lacunas a ser investigadas e venham a
promover avanços nessa área de conhecimento. O instrumento utilizado para alcançar o objetivo foi o
Knowledge Development Process-Constructivist (ProKnow-C) por ser um processo estruturado de seleção
e análise da literatura, onde se identificou 16 publicações que representam o fragmento de literatura de
estudos de caso de avaliação de desempenho no setor público. Foram realizadas a análise bibliométrica e
sistêmica, por meio de suas lentes. Após, realizou-se contribuições para a construção de conhecimento por
meio das lacunas identificadas. Apesar da diversidade de autores, periódicos e instituições, não há autor
prolífico; poucos periódicos apresentam em seu escopo Setor Público; o continente europeu quem
apresentou mais interesse no assunto; as teorias da “New Public Management”, Contingência e
Estabelecimento de Metas foram as mais identificadas. Além disso, os modelos apresentados, em geral, são
genéricos, sem um contexto único, com baixa singularidade e reconhecimento do decisor, e sem evidenciar
o status quo das organizações. Há uma escassez de pesquisas empíricas que descrevam em detalhes os
sistemas e processos utilizados em diferentes níveis de governo para medir e gerenciar o desempenho. É
possível concluir que a avaliação de desempenho no setor público é um campo ainda a ser explorado.
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 3 - p. 22, set./dez. 2020. ISSN 1984-3291
Avaliação de desempenho no setor público: oportunidades de pesquisa com base nas lacunas identificadas em estudos de
casos
Palavras-chave: Avaliação de Desempenho. Setor Público. Estudos de Caso. ProKnow-C.
ABSTRACT
Performance Assessment (PE) models can be used to support organizations, both public and private, in
various environments because they can support performance management, which takes into account the
competitive realities where the organization operates. These activities are a source of continuing debate.
Academics seek to better understand the assessment process, while practitioners seek ways to increase the
effectiveness of assessments. The objective was to know what the fragment of the literature of performance
evaluation, in the international scientific publications, developed in the form of case studies in the public
sector. These findings will reveal gaps to be investigated and to promote advances in this area of study. The
instrument used to reach the goal was the Knowledge Development Process-Constructivist (ProKnow-C)
because it is a structured process of selection and analysis of the literature. We identified 16 publications
that represent the literature fragment of case studies of performance evaluation in the public sector.
Bibliometric and systemic analysis were carried out through their lenses. Afterwards, our findings
contributed to our stock of the identified gaps. Despite the diversity of authors, periodicals and institutions,
we found that: there is no prolific author; few newspapers report on the public sector; The European
continent presented more interest in the subject; and that the theories of "New Public Management",
Contingency and Goal Setting were the most identified. In addition, the presented models are usually
generic, without a unique context, lacking uniqueness and recognition of the decision maker, and without
showing the status quo of organizations. There is a shortage of empirical research that describes in detail
the systems and processes, used at various levels of government, to measure and manage performance. It is
possible to conclude that performance evaluation in the public sector is a field still to be explored.
Keywords: Performance Evaluation. Public sector. Case study. ProKnow-C.
1 INTRODUÇÃO
As organizações, independentemente do setor em que atuam, estão inseridas em ambientes cada
vez mais competitivos e dinâmicos (MARTINS, 2015; MACIEL; MARTINS, 2018). Para apoiar as
organizações nesse ambiente, modelos de Avaliação de Desempenho (AD) por podem ser utilizados por
serem capazes de subsidiar o gerenciamento do desempenho que levará em consideração as realidades
competitivas dentro do qual a organização opera (MENSAH; GEORGE, 2015). As atividades atendidas
pelo processo de AD são uma fonte de contínuo debate em que acadêmicos procuram compreender
melhor o processo de avaliação, enquanto praticantes buscam formas de aumentar a eficácia das
avaliações (LONGENECKER; NYKODYM, 1996). Essas preocupações visam tanto melhorias na
Avaliação de Desempenho no setor privado organizacional, quanto no setor público.
No contexto público, os governos estão demonstrando crescente interesse na medição de
desempenho. As autoridades, assim como a imprensa e a mídia, estão estabelecendo e divulgando metas
de desempenho por meio dos programas de modernização, bem como lista de classificação para
evidenciar onde o dinheiro dos contribuintes está sendo empregado (MICHELI; NEELY, 2010). De
acordo com Longenecker e Nykodym (1996), organizações do setor público nos EUA têm sido
solicitadas a melhorar sua eficiência, ou seja, prestar mais serviços por dólar e, ao mesmo tempo,
demonstrar aumento dos níveis de accountability para os contribuintes. A expansão do processo de
avaliação formal no setor público (FERREIRA-DA-SILVA et al., 2015) é uma tendência que suporta
teoricamente essa noção de fazer mais com menos e aumenta a responsabilidade de servidores e de
gestores públicos (LONGENECKER; NYKODYM, 1996).
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 4- p. 22, set./dez. 2020. ISSN 1984-3291
Vinicius Abilio Martins; Sandra Rolim Ensslin
Embora tanto o setor público quanto o privado enfrentem problemas semelhantes, pesquisadores
argumentam que a transposição de modelos de desempenho do setor privado não se adapta facilmente
em um ambiente do setor público (GREATBANKS; TAPP, 2007). Há a necessidade de maior
compreensão em relação ao desenvolvimento da atividade de gestão do desempenho no contexto do setor
público (MCADAM; HAZLETT; CASEY, 2005), ou seja, alternativas e técnicas utilizadas no setor
privado não podem ser simplesmente implementadas no setor público (MCADAM; HAZLETT; CASEY,
2005; JOYCE, 2000; SAVOIE, 1998). A complexidade da avaliação e gestão do desempenho no setor
público é associada a diversos fatores, tais como estrutura organizacional, burocracia, legislação, cultura
e identificação organizacional considerando as várias partes interessadas. No contexto da cultura e
identificação organizacional, é recomendável a utilização de modelos alicerçados na consideração das
percepções do(s) gestor(es) da organização, possibilitando assim a construção de um modelo único e
personalizado ao contexto decisório em que se insere (VALMORBIDA; ENSSLIN, 2016; MARTINS et
al, 2018; ROY, 1993).
Dada a importância sobre a Avaliação de Desempenho no âmbito do setor público, tanto em
relação às práticas realizadas, quanto em relação ao que vem sendo pesquisado, o intuito desta pesquisa
é responder à seguinte questão: Quais são as lacunas e oportunidades de pesquisa que podem ser
identificadas nos estudos de caso e que são capazes de promover avanços na área avaliação de
desempenho no setor público? A fim de contribuir para melhorar o conhecimento sobre esse assunto,
este estudo tem como objetivo conhecer o que o fragmento da literatura referente à avaliação de
desempenho, nas publicações científicas internacionais, desenvolveu sob a forma de estudos de caso no
setor público, possibilitando, assim, apontar lacunas que possam ser investigadas e venham a promover
avanços nessa área de conhecimento.
2 REFERENCIAL TEÓRICO
2.1 Avaliação de desempenho
À medida que avançamos no século XXI há uma convicção crescente de que o mundo como nós
o conhecemos está mudando, tanto de forma natural como no aspecto dos negócios (BITITCI et al.,
2012), e essas mudanças têm sido também objeto da área de Avaliação de Desempenho. Durante os
últimos 20 anos, a medição de desempenho tem sido estudada e operacionalizada por diversas disciplinas
(BITITCI et al., 2012; NUDURUPATI et al, 2011; FRANCO-SANTOS et al., 2007; NEELY, 2005),
tais como operações, controle estratégico e contabilidade de gestão.
Tal atenção é derivada da crença de que um sistema de avaliação eficaz, concebido e
implementado, pode fornecer ao funcionário, ao gerente e à organização uma série de benefícios positivos
(LONGENECKER; NYKODYM, 1996). Segundo Steinbach et al, (2015) mediante a análise do seu
desempenho, as organizações podem medir sua capacidade de sobrevivência e continuidade em vista das
exigências dos ambientes interno e externo em que estejam inseridas. Adicionalmente, Bititci et al.
(2000) argumentam que se o desempenho influencia a ação das pessoas as medidas de desempenho
precisam ser posicionadas em um contexto estratégico.
Quando analisado na perspectiva contemporânea, a medição de desempenho compreende o uso
de medidas de desempenho financeiro, bem como não financeiro, ligadas à estratégia de negócios da
organização, com consequências para o comportamento das pessoas, para as capacidades organizacionais
e para seu desempenho (FRANCO-SANTOS et al., 2012). O uso de sistemas de medição e gestão de
desempenho é frequentemente recomendado para facilitar a implementação da estratégia e melhorar o
desempenho organizacional (MELNYK et al., 2014; DAVIS; ALBRIGHT, 2004).
Sistemas de avaliação e de gestão de desempenho consistem em dois componentes: sistema de
medição e sistema de gestão de desempenho. O sistema de medição de desempenho engloba o processo
(ou processos) para a definição de objetivos (desenvolvimento do conjunto de métricas) e coleta, análise
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 5 - p. 22, set./dez., 2020. ISSN 1984-3291
Avaliação de desempenho no setor público: oportunidades de pesquisa com base nas lacunas identificadas em estudos de
casos
e interpretação de dados de desempenho (MELNYK et al., 2014). O sistema de gestão de desempenho
engloba o processo de avaliar as diferenças entre os resultados reais e desejados, identificar e sinalizar
aquelas diferenças que são críticas, com a intervenção de gestão, a compreensão do porquê de as
deficiências terem ocorrido e, quando necessário, a introdução e o acompanhamento de ações corretivas
destinadas a colmatar as lacunas significativas de desempenho (MELNYK et al., 2014).
Essas discussões demonstram que a Avaliação de Desempenho é um: fenômeno social e um processo
de quantificação, com efeito de estimular a ação e onde os comportamentos (organizacionais e individuais)
são moldados pelos valores e percepções dos indivíduos e das comunidades dentro do qual o indivíduo opera
(BITITCI et al., 2011; 2000); e, processo dinâmico em constante inovação e que provoca mudanças no
ambiente organizacional (STEINBACH et al., 2015). Bititci et al. (2011) sugerem que a discussão sobre
AD precisa adotar uma abordagem mais interpretativa para a compreensão de medição de desempenho como
um sistema social integrado, holístico, dentro do contexto sempre emergente.
2.2 Avaliação de Desempenho no Setor Público
A produção de conhecimento técnico na busca da melhoria dos padrões de gerenciamento do setor
público sempre esteve muito mais voltada para os processos de formulação de políticas e programas do
que para aqueles relacionados à sua implementação e avaliação (STEINBACH et al., 2015). Além disso,
os sistemas de AD são geralmente considerados mais focados nas consequências, ignorando as causas e
os processos (FERREIRA-DA-SILVA et al., 2015). O processo de Avaliação de Desempenho em
organizações públicas ainda se configura na aplicação de instrumentos isolados com resultados pouco
utilizados para o desenvolvimento organizacional e melhoria da gestão, evidenciando que normalmente
a avaliação é um fim em si mesma (STEINBACH et al., 2015).
No setor público, os propósitos, objetivos e metas são apresentados e direcionados por um órgão
central, seja uma agência reguladora, secretaria ou ministério, sem ao menos se analisar o contexto da
organização avaliada, o que é preocupante devido à falta de qualquer sentido explícito de prioridade entre
a multidão de indicadores em nível da organização e os que estão no nível departamental do governo
central (MICHELI; NEELY, 2010). Por outro lado, a experiência internacional, especialmente nos países
da Europa Ocidental, sugere a existência de vários modelos de Avaliação de Desempenho relacionados
com a história cultural e política das suas respectivas burocracias (FERREIRA-DA-SILVA et al., 2015).
Em um contexto de crescente incerteza, a capacidade das instituições para se adaptarem aos novos
desafios estratégicos e controlar seus recursos humanos tornou-se muito importante. Ferreira-da-silva et
al., (2015) argumentam que os sistemas de Avaliação de Desempenho permitem que organizações
exerçam seu poder de apreciação em seus empregados, permitem aos gestores desenvolver seus
conhecimentos sobre o problema (AGOSTINO; ARNABOLDI, 2015; LONGENECKER; NYKODYM,
1996) e sua capacidade de avaliação.
O sistema de Avaliação de Desempenho tem um papel estratégico nas organizações públicas, uma
vez que apresentam relação com a: liderança, geração de conhecimento no gestor e na organização,
história cultural e política das organizações, além das metas e indicadores (FERREIRA-DA-SILVA et
al., 2015). Pode-se argumentar que as metas e os indicadores são concebidos para controlar as atividades
locais, melhorar a prestação de contas, comparar o desempenho das organizações, influenciar o
comportamento e ação, a fim de melhorar os serviços públicos (MICHELI; NEELY, 2010). Cada um
desses papéis tem implicações importantes para a concepção dos sistemas de medição de desempenho e
sua implementação, em que muitas vezes apresenta dificuldades em tentar cumprir muitos desses papéis
ao mesmo tempo (MICHELI; NEELY, 2010).
Neste contexto, um sistema de avaliação eficaz requer que os gestores tenham não só as
habilidades necessárias à realização das avaliações, mas também a vontade de fazê-la (STEINBACH et
al., 2015). Considerando que cada pessoa envolvida veio de um contexto institucional diferente, cada um
com sua própria abordagem para medições de desempenho (AGOSTINO; ARNABOLDI, 2015),
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 6- p. 22, set./dez. 2020. ISSN 1984-3291
Vinicius Abilio Martins; Sandra Rolim Ensslin
Steinbach et al. (2015) argumentam que o conhecimento gerado pela análise que se faz da organização e
da interação entre os envolvidos é fruto da atividade de avaliação de desempenho que subsidia o
gerenciamento, fornecendo informações imprescindíveis para a tomada de decisão.
3 METODOLOGIA
A presente pesquisa classifica-se como exploratória-descritiva, pois explora qualitativamente o
fragmento da literatura de estudos de caso de avaliação de desempenho no setor público e descreve as
características desse fragmento. Com o intuito de construção de conhecimento nos pesquisadores para
identificação de lacunas que possam ser investigadas e venham a promover avanços em pesquisas de AD
no setor público, o estudo é caracterizado como qualitativo. Por ter como dados de análise os artigos
científicos publicados (dados secundários) em bases de dados fez uso da pesquisa bibliográfica. Por essa
seleção demandar a interação, geração de conhecimento e reflexão dos pesquisadores (dados primários)
para a evolução do processo, classifica-se, também, como pesquisa-ação (RICHARDSON, 1999).
Para orientar os procedimentos dos autores o Knowledge Development Process-Constructivist
(ProKnow-C) foi utilizado, por possibilitar a justificativa das escolhas científicas que o pesquisador
realizou e identificar oportunidades de pesquisa (MATOS et al, 2019; VALMORBIDA; ENSSLIN,
2016; THIEL; ENSSLIN; ENSSLIN, 2017), por meio das seguintes etapas: (a) selecionar um Portfólio
Bibliográfico (PB) de artigos sobre o fragmento que representa o tema da pesquisa; (b) identificar as
características dos estudos encontrados (análise bibliométrica) no PB; (c) realizar uma análise crítica dos
artigos do PB por meio de uma afiliação teórica do pesquisador (análise sistêmica); e (d) identificar
lacunas e oportunidades de futuras pesquisas (STAEDELE; ENSSLIN; FORCELLINI, 2019;
PEDERSINI; ENSSLIN, 2020; MARTINS; ENSSLIN, 2020). O resultado da operacionalização da
Etapa 1 - Seleção do Portfólio Bibliográfico é apresentado na Figura 1, por constituírem-se nos dados da
serem analisados na pesquisa.
Figura 1 – Seleção do PB com base no ProKnow-C
Fonte: Elaborado pelos autores
Por meio do processo estruturado 16 artigos passaram para as etapas de análise bibliométrica e
sistêmica. A análise bibliométrica tem por objetivo quantificar as informações existentes e, para os
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 7 - p. 22, set./dez., 2020. ISSN 1984-3291
Avaliação de desempenho no setor público: oportunidades de pesquisa com base nas lacunas identificadas em estudos de
casos
destaques de cada uma das variáveis definidas, buscar informações para aprofundar o conhecimento
(ARAÚJO; MATOS; ENSSLIN, 2020; WELTER; PEDERSINI; ENSSLIN, 2019; MARTINS;
ENSSLIN; DUTRA, 2018). Nesta pesquisa, serão investigadas as seguintes variáveis básicas: (a)
reconhecimento científico dos artigos; (b) autores e as universidades de maior destaque e trajetória nessa
área de conhecimento; (c) relevância dos periódicos; (d) palavras-chave mais utilizadas; (e) análise do
fator de impacto dos periódicos do PB; (f) quais são as áreas de concentração dos periódicos receptivos
do tema, com base no JCR; (g) qual é a metodologia/ferramenta de AD mais utilizada nos artigos; (h)
em qual o tipo de organização o estudo de caso foi aplicado; (i) quais foram os países onde o
modelo/estudo foi desenvolvido; e (j) qual é a forma de coleta de dados utilizada pelos autores dos
artigos. Com relação as variáveis avançadas, serão investigadas: quais são as teorias subjacentes que
informaram a AD dos estudos (CARDOSO et al., 2015; FRANCO-SANTOS, 2012); e qual foi o sistema
de AD que informou os estudos: sistema de mensuração e/ou sistema de gestão de desempenho
(CARDOSO et al., 2015; MELNYK et al., 2014).
Cumpre esclarecer as teorias subjacentes e a noção no contexto de AD consideradas pelos autores:
a) Teoria da Agência: Avaliação de Desempenho serve como ferramenta para reduzir a
assimetria informacional entre os agentes (CARDOSO et al., 2015; FRANCO-SANTOS,
2012; JENSEN; MECKLING, 1976);
b) Teoria da Contingência: AD e suas medidas não são universais para todas as organizações;
assim, cada instituição precisa criar o seu próprio sistema de avaliação considerando suas
particularidades (CARDOSO et al., 2015; FRANCO-SANTOS, 2012; HAYES, 1977);
c) Teoria da Visão Baseada em Recursos da empresa: AD fornece um diagnóstico das
capacidades organizacionais e dos recursos a fim de melhorar e gerar vantagem competitiva
(CARDOSO et al., 2015; FRANCO-SANTOS, 2012;
d) Teorias Cognitivas e de Processamento de Informações: AD é influenciada pela percepção
de cada gestor; assim, a avaliação e interpretação dos dados podem variar de gestor para
gestor (CARDOSO et al., 2015; FRANCO-SANTOS, 2012; MILLER, 1956);
e) Teoria do Estabelecimento de Metas: AD apresenta influência das metas estabelecidas,
onde o uso de metas específicas e desafiadoras produz maiores efeitos de desempenho
(CARDOSO et al., 2015; FRANCO-SANTOS, 2012; LOCKE; LATHAM, 1990);
f) Teoria da Equidade, Distribuição e Justiça: AD deve ser justa, uma vez que, se os
indivíduos perceberem que existem desigualdades e injustiças na avaliação, eles ficarão
insatisfeitos e desmotivados com o sistema de avaliação (CARDOSO et al., 2015; FRANCOSANTOS, 2012; ADAMS, 1965);
g) Teoria dos Stakeholders: AD deve levar em consideração as partes interessadas na
organização e seus interesses (CARDOSO et al., 2015; FREEMAN, 1984); e
h) New Public Management: NPM implica ênfase na medição de desempenho como uma
ferramenta de mudança de práticas de governança e controle, constituído de práticas como a
gestão por objetivos e gestão por resultados (MODELL, 2005; NEWBERRY; PALLOT,
2004).
Para a variável ‘sistemas de avaliação de desempenho’, a classificação em sistema de medição de
desempenho compreende os processos para a definição de objetivos, coleta, análise e interpretação de
dados de desempenho (MELNYK et al., 2014). Já para a classificação como sistema de gestão de
desempenho abarca os processos de avaliação de diferenças entre os resultados reais e desejados,
identificação e sinalização das diferenças que são críticas (garantindo assim a intervenção de gestão), a
compreensão do porquê as deficiências tenham ocorrido, e, quando necessário, introdução e
acompanhamento de ações corretivas destinadas a colmatar as lacunas significativas de desempenho
(MELNYK et al., 2014).
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 8- p. 22, set./dez. 2020. ISSN 1984-3291
Vinicius Abilio Martins; Sandra Rolim Ensslin
A terceira etapa do ProKnow-C diz respeito à análise sistêmica que é uma atividade reflexiva em
que o pesquisador, com base na adoção de uma afiliação teórica e de suas propriedades, analisa a
presença, ou não, dessas propriedades nos artigos do PB, com o objetivo de evidenciar os destaques e as
oportunidades de conhecimento encontrado na amostra (VALMORBIDA; ENSSLIN, 2016; SILVA et
al., 2014; VALMORBIDA et al., 2014; BORTOLUZZI et al., 2013). Para operacionalização da análise
sistêmica neste trabalho, adotou-se a afiliação teórica de Ensslin et al. (2013, p. 379) em que Avaliação
de Desempenho
é o processo para construir conhecimento no decisor, a respeito do contexto específico que se
propõe avaliar, a partir da percepção do próprio decisor por meio de atividades que identificam,
organizam, mensuram, ordinalmente e cardinalmente e integram os aspectos considerados como
necessários e suficientes para sua gestão permitindo visualizar o impacto das consequência das
ações e seu gerenciamento.
As lentes utilizadas para analisar os artigos foram: (i) abordagem; (ii) singularidade; (iii) processo
para identificação; (iv) mensuração; (v) integração; e (vi) gestão (VALMORBIDA et al., 2014;
BORTOLUZZI et al., 2013).
A lente da Abordagem tem por objetivo analisar a harmonia entre (a) a origem do
modelo/proposta aplicado; e (b) o contexto em que se aplica, com base em Valmorbida et al. (2014),
Bortoluzzi et al. (2013) e Dias e Tsouklas (2004), pode ser ser classificado entre (i) Normativista; (ii)
Descritivista; (iii) Prescritivista; e (iv) Construtivista.
Em termos do contexto em que se aplica o modelo, este pode ser considerado Genérico ou
Específico. Dessa forma, ocorrerá harmonia quando as abordagens Normativista e Descritivista forem
aplicadas em contextos genéricos, e as abordagens Prescritivista e Construtivista forem aplicadas em
contextos específicos. A lente Singularidade tem por objetivo analisar se os autores reconhecem que o
problema é singular, ou seja, vinculado aos atores quanto ao contexto físico em que foi empregado, ou
seja, para cada ambiente (contexto) deve-se construir um modelo de AD, em que, ao se mudar o contexto,
se altera o modelo (VALMORBIDA et al., 2014; BORTOLUZZI et al., 2013). A lente de Processo de
Identificação consiste em identificar se os autores reconhecem os limites de conhecimento e valores dos
decisores nos critérios de avaliação de desempenho além de identificar os objetivos do modelo de
avaliação de desempenho, segundo a visão do decisor (BORTOLUZZI et al., 2013). A lente Mensuração
tem o intuito de identificar nos artigos analisados se os autores informam o tipo de escala utilizada
(nominal, ordinal, intervalo, razão); se estas respeitam as propriedades de operacionalização da escala
(atendem aos princípios da homogeneidade e não ambiguidade); e se atendem à teoria da mensuração,
ou seja, se em relação às operações matemáticas e estatísticas realizadas pelo artigo são compatíveis com
as escalas construídas (BORTOLUZZI et al., 2013). A lenta Integração consiste em identificar se, nos
artigos analisados, os autores realizam a integração dos critérios considerados como necessários e
suficientes para se ter uma avaliação global de desempenho com base nos níveis de referências definidos,
conforme a percepção dos decisores. Além disso, é analisado se o modelo permite uma visão holística
do desempenho da organização, fornecendo a situação global, segundo os critérios estabelecidos pelo
decisor. A lente Gestão tem por objetivo identificar se é realizado diagnóstico dos pontos fortes e fracos
da situação atual das organizações objeto nos artigos e a forma pela qual se realiza o diagnóstico, e
também se os autores geram ações para melhorar o desempenho.
4 ANÁLISE E DISCUSSÃO DOS RESULTADOS
4.1 Análise bibliométrica: Características básicas e avançadas
Os artigos que resultaram da seleção e que compõem o Portfólio Bibliográfico (PB), com base na
delimitação atribuída pelos autores, representam um fragmento da literatura, um total de 16 artigos, sobre
estudos de caso de Avaliação de Desempenho no Setor Público.
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 9 - p. 22, set./dez., 2020. ISSN 1984-3291
Avaliação de desempenho no setor público: oportunidades de pesquisa com base nas lacunas identificadas em estudos de
casos
O conjunto de autores do PB corresponde a 43 autores que, no entanto, não possuem mais do que
um artigo no PB. Em geral, os artigos foram escritos por dois autores (50%), seguidos por três e quatro
autores (18% cada). Em relação às instituições às quais os autores declararam vínculo quando da
publicação do artigo, pode-se identificar 28 instituições distintas que, no entanto, também não possuem
mais do que um artigo.
Em relação ao reconhecimento científico dos artigos, destacaram-se: Performance management
in the UK public sector: Addressing multiple stakeholder complexity, de Mcadam et al. (2005), com 145
citações (2005 – média de 13 citações por ano); Performance measurement systems in the Finnish public
sector, de Rantanen et al., (2007) com 119 citações (2007 – média de 13 citações por ano); e Bundling
management control innovations: A field study of organisational experimenting with total quality
management and the balanced scorecard, de Modell, (2009) com 106 citações (2009 – média de 15
citações por ano).
A análise da receptividade dos periódicos tem por intuito identificar aqueles periódicos receptivos
ao tema proposto. Foram identificados, com base no PB,14 diferentes periódicos, sendo destaques
International Journal of Public Sector Management (Fator SJR 0,272) e Public Organization Review
(Fator SJR 0,282), ambos com dois artigos do PB. Os demais 12 periódicos contaram com apenas um
artigo no PB.
Cumpre salientar que, sendo o foco deste trabalho “Estudos de caso de Avaliação de Desempenho
no setor público”, se esperava que a maioria dos periódicos abordasse, em seu escopo, o setor público.
No entanto, dos 14 periódicos encontrados, apenas International Journal of Public Sector Management,
Public Personnel Management e Public Administration Review apresentam, em seu escopo a área de
atuação Public Administration. International Journal of Public Sector Management aborda sobre as
questões comuns que os gestores públicos, administradores e formuladores de políticas enfrentam,
visando melhorar a eficiência e eficácia em situações de escassez de recursos e aumento das expectativas
públicas; já Public Personnel Management tem como foco publicar especificamente para executivos de
recursos humanos e gestores do setor público; e, Public Administration Review declara que tem como
público acadêmicos e profissionais interessados no setor público e na gestão do setor público.
Foram analisadas também as palavras-chave utilizadas pelos artigos. Das 62 palavras-chave
elencadas, as que mais apareceram foram Balanced Scorecard, Case Studies, Performance Management,
Performance Measurement e Public Sector Organizations. No geral, a concentração de palavras ocorreu
em Performance Management e suas variantes.
Em relação às ferramentas ou métodos utilizados pelos artigos, o Balanced Scorecard apresentouse como o mais estudado e implementado nas organizações, presente em sete dos 16 artigos, de forma
individual ou concomitante com alguma outra ferramenta (TQM, em dois artigos). Além desses, foram
verificados os Sistemas de Avaliação de Desempenho (Performance Mensurement System – PMS) (três
artigos) e a Avaliação de Desempenho (Performance Mensurement – PM) (três artigos), de forma
genérica. Nesse sentido, as palavras-chave apresentadas anteriormente refletem o direcionamento dos
artigos. É possível inferir que as palavras-chave revelam uma fonte de acesso vantajosa aos artigos
científicos, as quais devem ser escolhidas com cautela, visando assim à otimização em buscas futuras.
No tocante às organizações e aos setores em que os artigos foram estudados, foi possível encontrar
uma diversidade de tipos e funções de órgãos de aplicação. Essas organizações foram agrupadas por
finalidade pública, sendo identificadas ao menos 13 áreas de atuação. As principais áreas de destaque
foram saúde (instituto de ciências, vigilância sanitária, hospital, ministério da saúde), policiamento,
educação, militar (base naval e manutenção da força de defesa) e transporte público. Em relação à
localização dos trabalhos, todos os continentes foram contemplados no PB com ao menos um trabalho.
O continente europeu apresentou elevado interesse (50%), com destaque para a Inglaterra (três artigos)
e Portugal (dois artigos).
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 10- p. 22, set./dez. 2020. ISSN 1984-3291
Vinicius Abilio Martins; Sandra Rolim Ensslin
Em uma análise mais específica da forma de coleta de dados, utilizaram-se entrevistas (88%),
análise documental (50%), questionário (38%), grupo focal/oficina (19%) e observação (19%). Além
disso, foi identificado que apenas quatro artigos utilizaram apenas um método de coleta de dados,
enquanto seis artigos utilizaram dois e três métodos.
A primeira análise da bibliometria avançada verificou quais as teorias adjacentes que se podem
ter informado os trabalhos do PB. O Gráfico 1 apresenta os resultados obtidos.
Gráfico 1 – Análise das Teorias Subjacentes
Stakeholders
6%
VBR
6%
NPM
31%
Não identificado
13%
Cognitiva
6%
Contingên
cia
19%
VBR
Stakeholders
NPM
Não identificado
Estabelecimento de Metas
Estabeleci
mento de
Metas
19%
Contingência
Cognitiva
0
1
2
3
4
5
6
Fonte: Dados da pesquisa (2017).
Ressalta-se que a NPM implica uma ênfase na medição de desempenho como ferramenta de
mudança de práticas de governança e controle, constituído de práticas como a gestão por objetivos e
gestão por resultados (MODELL, 2005; NEWBERRY; PALLOT, 2004). Tendo sua difusão após a
década de 1990, a reforma do setor público, nos últimos anos, tem sido um dos principais focos de
formuladores de políticas e técnicas de Contabilidade e políticas e tem desempenhado um papel
fundamental em iniciativas de mudança (NATH; SHARMA, 2014; LAPSLEY; WRIGHT, 2004).
Em relação ao entendimento de Melnyk (2014), da classificação dos sistemas de Avaliação de
Desempenho entre sistemas de medição de desempenho e/ou sistemas de gestão de desempenho, dos 16
artigos avaliados, apenas um obteve classificação “Sim” para ambos os conceitos. Steinbach et al. (2015)
teve como objetivo desenvolver um modelo de Avaliação de Desempenho do processo de comunicação
de Vigilância em Saúde do estado de Santa Catarina, com base na metodologia Multicritério para Apoio
à Decisão-Construtivista (MCDA-C). Em seu artigo, foi possível encontrar todas as características
necessárias apresentadas por Melnyk (2014). Dos demais, 11 deles se apresentaram de forma incompleta
(apenas o objetivo e alguns, o que medir) enquanto quatro não apresentaram características de
mensuração. Em relação às características de gestão do desempenho, além do citado acima, apenas dois
artigos apresentaram pelo menos uma característica, sendo ambos considerados parciais. Em
contraponto, 12 dos artigos não apresentaram característica alguma de gestão do desempenho, com base
na perspectiva de Melnyk (2014).
4.2 Análise Sistêmica
A primeira análise realizada foi a Lente Abordagem. O objetivo dessa Lente é identificar se existe
harmonia entre a abordagem utilizada no modelo apresentado e sua aplicação no contexto do artigo. O
Gráfico 2 apresenta as abordagens utilizadas pelos autores nos artigos.
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 11 - p. 22, set./dez., 2020. ISSN 1984-3291
Avaliação de desempenho no setor público: oportunidades de pesquisa com base nas lacunas identificadas em estudos de
casos
Gráfico 2 - Análise quanto à abordagem utilizada nos artigos do PB
Abordagem
Construtiva
13%
Normativa
0%
Contexto
Harmonia
Sem
Harmo
nia Genéri
co
19%
Específico
31%
Genérico
69%
Prescritiva
31%
Descritivista
56%
Sem
Harmonia Específico
6%
Harmonia Específico
25%
Harmo
nia Genéri
co
50%
Fonte: Dados da pesquisa (2017).
Por meio do Gráfico 2, é possível observar que a maior parte dos artigos apresenta abordagem
Descritivista (56%), tendo sido utilizado por Goh, Elliott e Richards (2015), Ferreira-da-Silva et al.
(2015), Liu e Van Dooren (2015), Agostino e Arnaboldi (2015), Pimentel e Major (2014), Rantanen et
al. (2007), Mcadam, Hazlett e Casey (2005), Yeh, Deng e Chang (2000) e Longenecker e Nykodym
(1996). A abordagem Prescritivista foi utilizada por 31% artigos, sendo os autores: Mensah e George
(2015), Nath e Sharma (2014), Macbryde et al. (2014), Micheli e Neely (2010) e Modell (2009). Já a
abordagem Construtivista foi encontrada em três dos 16 artigos analisados. Para Roy (1993), a
abordagem Construtivista é a mais adequada para apoio à decisão. Nesse sentido, apenas os trabalhos de
Steinbach et al. (2015) e Greatbanks e Tapp (2007) apresentam-se alinhados a essa abordagem.
Em relação ao contexto em que os modelos foram analisados, as abordagens normativista e
descritivista somente podem ser aplicadas em ambientes considerados genéricos, são selecionados
modelos teóricos pré-existentes e busca-se entender as decisões bem-sucedidas do passado e se considera
o comportamento passado do decisor, respectivamente. Nesse sentido, essas abordagens só podem ser
utilizadas em ambientes genéricos (ENSSLIN; ENSSLIN; DUTRA, 2016). Quanto às abordagens
prescritivista e construtivista, estas consideram que o decisor tem valores e preferências; no entanto, na
segunda, há o foco da geração de conhecimento no decisor, o que não se encontra na primeira. Ambas as
abordagens devem ser consideradas em contexto específico (ENSSLIN; ENSSLIN; DUTRA, 2016).
Conforme observado na terceira ilustração do Gráfico 2, objetivo do relacionamento entre a
primeira e a segunda ilustração, 75% dos artigos apresentam harmonia entre a abordagem utilizada e o
contexto empregado. Destes, é possível identificar 50% sob a abordagem genérica, e 25% sob a
abordagem específica. Em contraponto, 25% dos artigos não apresentam a harmonia desejada. Este é um
aspecto indicativo de lacuna a ser preenchida na literatura de AD no setor público.
A Lente Singularidade tem por objetivo verificar se reconhece o problema como único em termos
dos decisores e contexto físico (VALMORBIDA et al., 2014; BORTOLUZZI et al. 2013). Dividida em
duas sublentes, verifica-se a singularidade quanto ao contexto físico e quanto ao decisor. Em seguida,
essas análises são agrupadas para apresentar a Singularidade, de forma ampla, nos artigos (Gráfico 3).
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 12- p. 22, set./dez. 2020. ISSN 1984-3291
Vinicius Abilio Martins; Sandra Rolim Ensslin
Gráfico 3 - Análise quanto à Singularidade utilizada nos artigos do PB
Contexto Físico
Decisor
Singular
19%
Singular
31%
Genérico
69%
Singularidade
Genéri
co
81%
Singular
19%
Genérico
69%
Singularidade
Parcial
12%
Fonte: Dados da pesquisa (2017).
Conforme observado no Gráfico 3, ao se analisarem o Contexto Físico e o Contexto do Decisor,
apenas 19% dos artigos reconhecem a singularidade de ambos. Steinbach et al. (2015), Modell (2009) e
Greatbanks e Tapp (2007) reconhecem a Singularidade, tanto em relação ao contexto físico, quanto ao
decisor. Em relação ao contexto físico, estes autores reconhecem que o ambiente físico é único e que o
modelo somente pode ser utilizado (em sua versão pura, sem adaptações) para a organização para a qual
foi construído (VALMORBIDA et al., 2014). Em relação ao decisor, reconhecem que este é a quem a
Avaliação de Desempenho se destina, e este é quem deverá ser apoiado no momento de se tomarem
decisões.
12 % dos artigos reconhecem o contexto físico específico, ou seja, é apresenta de forma singular;
no entanto, não é reconhecido o contexto singular do decisor, sendo este apresentado em sua forma
genérica (MENSAH; GEORGE, 2015, MCADAM; HAZLETT; CASEY, 2005). A maioria dos artigos
(69%) não apresentou Singularidade. Estes são classificados como genéricos, tanto em relação ao
contexto físico, quanto em relação ao decisor, ou seja, a característica de Singularidade não foi
encontrada nos artigos de Ferreira-da-Silva et al. (2015), Liu e Van Dooren (2015), Agostino e Arnaboldi
(2015), Goh, Elliott e Richards (2015), Nath e Sharma (2014), Pimentel e Major (2014), Macbryde et al.
(2014), Micheli e Neely (2010), Rantanen et al. (2007), Yeh, Deng e Chang (2000) e Longenecker e
Nykodym (1996).
Ao considerar que tanto as organizações, quanto os decisores possuem características próprias e
distintas uns dos outros, e que os modelos de Avaliação de Desempenho são utilizados por estes com a
finalidade de avaliar aqueles, infere-se assim a necessidade da identificação tanto do contexto físico,
quanto dos decisores. Encontra-se aqui mais uma lacuna de pesquisa para melhoria em trabalhos futuros.
A Lente Identificação de Valores e Preferências, dividida em duas sublentes, tem por objetivo
identificar se: a percepção do decisor, ou seja, seus valores e preferências, é levada em consideração para
a identificação das características dos modelos de avaliação de desempenho; e, se nesse processo, existe
a preocupação com a expansão do conhecimento no decisor.
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 13 - p. 22, set./dez., 2020. ISSN 1984-3291
Avaliação de desempenho no setor público: oportunidades de pesquisa com base nas lacunas identificadas em estudos de
casos
Gráfico 4 - Análise da Lente de Identificação de Valores e Preferências
Os critérios
identificados são
externos ao decisor
mas esse os validam
6%
Alguns critérios são
externos e outros são
apresentados pelo
decisor
0%
Os critéros são apresentados pelo decisor
Não reconhece o
decisor
81%
Fonte: Dados da pesquisa (2017).
A informação derivada dessa análise permite identificar que os trabalhos de Steinbach et al.
(2015) e Greatbanks e Tapp (2007), representando 13% do conjunto de artigos, levam em consideração
os critérios apresentados pelo decisor no momento da Avaliação de Desempenho. Além disso, Modell
(2009) afirma que os critérios identificados são externos, por meio de literatura e do conhecimento dos
autores, mas são validados pelo decisor. No entanto, a maioria (81%) dos artigos não reconhece o decisor
na apresentação da Avaliação de Desempenho. A quase totalidade dos artigos apresenta que os critérios
de avaliação são coletados pela literatura, pelos autores ou mesmo imposto por órgãos superiores. Em
complemento, Steinbach et al. (2015), além de levar em consideração os critérios apresentados pelo
decisor no momento da construção do modelo, também considera a expansão do conhecimento deste em
todas as etapas, desde a identificação até à operacionalização dos critérios. Os demais artigos não levam
em consideração a expansão do conhecimento do decisor.
A Lente Mensuração tem o intuito de identificar se os autores realizam a atividade de mensuração
dos objetivos, identificando as escalas e atendendo de forma correta à Teoria da Mensuração. Verificase que apenas 19% apresentam a mensuração dos objetivos identificados como importantes para a
organização. Os autores dos artigos que realizam a mensuração são: Steinbach et al. (2015), Greatbanks
e Tapp (2007) e Yeh, Deng e Chang (2000). Além de realizarem a mensuração, foi identificado que os
trabalhos citados utilizam escalas intervalares para mensuração de seus objetivos e também atendem à
Teoria da Mensuração, na qual as operações realizadas no processo de mensuração são compatíveis com
as escalas utilizadas.
Gráfico 5 - Análise da Lente Mensuração
Realiza a atividade de
mensuração dos
objetivos 19%
Não realiza a atividade
de mensuração dos
objetivos 81%
Fonte: Dados da pesquisa (2017).
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 14- p. 22, set./dez. 2020. ISSN 1984-3291
Vinicius Abilio Martins; Sandra Rolim Ensslin
Os demais artigos (81%) não evidenciam, ou nem mesmo explicitam, as escalas utilizadas para
mensuração dos critérios/objetivos. A utilização de escalas que respeitam os princípios da Teoria da
Mensuração e atendam às propriedades de operacionalização garante a validade do processo de AD,
devendo ser observadas quando se der a mensuração de desempenho dos objetivos (VALMORBIDA et
al., 2014).
A Lente Integração busca verificar se, no processo de integração das escalas, estas permitem uma
visão holística do desempenho, e não apenas um resultado final. Nesse quesito, os artigos que
anteriormente apresentaram resultado positivo quanto à mensuração de seus objetivos também
permitiram um processo de integração entre os indicadores elencados em seus modelos. No entanto,
apenas Steinbach et al. (2015) apresentam uma visão holística do desempenho e o resultado parcial e
global; e realizam a integração com base na percepção dos decisores, com níveis de referência e taxas de
integração. Os outros 2 artigos apresentam somente o resultado global e realizam a integração sem a
participação dos decisores.
A Lente Gestão tem por objetivo verificar se o conhecimento gerado pelo sistema de AD
analisado pelo artigo permite conhecer a situação atual, o monitoramento, e gerar ações de
aperfeiçoamento (VALMORBIDA et al., 2014). Essa análise é realizada em duas partes: o Diagnóstico,
onde se busca conhecer pontos fortes e fracos, status quo e a forma de apresentação disso, gráfico e/ou
numérica (Gráfico 6); e, a Análise do Aperfeiçoamento, relacionado à gerarão de ações de
aperfeiçoamento (Gráfico 7) (VALMORBIDA et al., 2014).
Gráfico 6 - Análise da Lente Gestão - Diagnóstico
(i) evidenciam o diagnóstico
(status quo) do desempenho
atual da organização em
forma gráfica e/ou numérica
e explicitam os pontos fracos
e fortes do desempenho;
6%
(v) não evidenciam o diagnóstico
(status quo) do desempenho atual
da organização.
56%
(iii) evidenciam o diagnóstico (status
quo) do desempenho atual da
organização em forma gráfica e/ou
numérica;
(iv) evidenciam o diagnóstico
(status quo) do desempenho atual
da organização em forma textual;
25%
(ii) evidenciam o diagnóstico (status
quo) do desempenho atual da
organização em forma textual e
explicitam os pontos fracos e fortes do
desempenho;
Fonte: Dados da pesquisa (2017).
A identificação do status quo, ou seja, a situação atual na AD das organizações objeto dos artigos
deixou de ser apresentada em 56% delas. Em geral, esses artigos mostram o interesse na percepção de
gestores ou funcionário em relação à AD, e não à AD em si.
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 15 - p. 22, set./dez., 2020. ISSN 1984-3291
Avaliação de desempenho no setor público: oportunidades de pesquisa com base nas lacunas identificadas em estudos de
casos
Dentre aqueles que identificam o status quo (38%), 13% apresentam de forma gráfica ou
numérica (GREATBANKS; TAPP, 2007, YEH; DENG; CHANG, 2000), enquanto 25% apresentam de
forma textual (NATH; SHARMA, 2014, PIMENTEL; MAJOR, 2014, MICHELI; NEELY, 2010,
MODELL, 2009). Além de apresentar o desempenho atual da organização, é interessante que sejam
apresentados pontos fortes e fracos do desempenho, visando, em um segundo momento, a melhorias na
gestão. Apenas Steinbach et al. (2015) apresentaram, além do status quo, tanto em forma gráfica quanto
textual, pontos fortes e fracos do desempenho. No entanto, 56% não evidenciaram o diagnóstico do
desempenho atual da organização, minando assim possibilidades de análises mais acuradas por parte da
academia.
Gráfico 7 - Análise da Lente Gestão - Aperfeiçoamento
(ii) apresentam um processo para
gerar ações de aperfeiçoamento e
identificam/sugerem ações;
0%
(i) apresentam um processo para
gerar ações de aperfeiçoamento,
identificam ações e hierarquizam as
ações sugeridas;
0%
(iii) apresentam um
processo para gerar
ações de
aperfeiçoamento;
6%
(iv) não apresentam um
processo para gerar
ações de
aperfeiçoamento.
94%
Fonte: Dados da pesquisa (2017).
Em relação ao aperfeiçoamento, a quase totalidade dos artigos (94%) não demonstraram
preocupação em apresentar ações de aperfeiçoamento, tampouco processos para identificação dessas
ações e hierarquização das ações sugeridas. No entanto, assim como nas lentes anteriores, destaca-se o
estudo de Steinbach et al. (2015), que cumpre com tais requisitos. Infere-se com isso a baixa preocupação
dos autores na melhoria das organizações, seja com a identificação das ações, seja em relação à Avaliação
de Desempenho, em relação aos pontos fortes e fracos. A apresentação destes permite ao gestor entender
o que deve ser melhorado.
4.3 Contribuições para a construção de conhecimento: lacunas identificadas
Por meio dos resultados encontrados foi possível identificar lacunas na literatura científica que
demandam investigações sobre avaliação de desempenho no setor público, no intuito de avanços nessa
área de conhecimento com oportunidades para pesquisas futuras. O Quadro 1 resume uma estrutura de
proposições científicas e práticas para o fragmento da literatura relacionado ao setor público, no contexto
da Avaliação de Desempenho.
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 16- p. 22, set./dez. 2020. ISSN 1984-3291
Vinicius Abilio Martins; Sandra Rolim Ensslin
Quadro 1 - Proposições científicas e práticas para o setor público no contexto da AD.
Lentes
1 – Abordagem
2 – Singularidade
3 – Processo de
Identificação
Desafios para os pesquisadores
Como estruturar um modelo de AD para o setor
público sob a perspectiva construtivista em seu
contexto específico?
De que forma construir um modelo de AD, singular,
tanto em relação ao ambiente, quanto em relação ao
decisor, para o ambiente público, cercado de pontos
normativos generalistas?
De que forma permitir a expansão do conhecimento
do gestor público por meio da AD?
4 – Processo de
Mensuração
Como elaborar um modelo de AD, contemplando os
objetivos elencados como importantes pela
organização, utilizando escalas que atendam à Teoria
da Mensuração?
5 – Processo de
De que forma abordar a percepção do decisor para a
Integração
identificação dos níveis de referência, no momento
da integração dos resultados dos indicadores
utilizados na AD?
6 – Processo de
De que maneira é possível apresentar um processo
Gestão
para gerar ações de aperfeiçoamento e identificação
de ações aos gestores públicos, com a identificação
de pontos fortes e fracos do desempenho, visando à
melhoria desse desempenho?
Fonte: Dados da pesquisa (2017).
Desafios para os gestores do setor público
Como permitir que o contexto específico seja
analisado, mesmo em um ambiente em que
normas legais determinam o que deve ser feito?
Como permitir a construção de um modelo de
Avaliação de Desempenho no contexto do setor
público, de forma singular, com influência de
vieses normativos?
Como abordar os valores e preferências
pessoais na Avaliação de Desempenho para
uma melhoria no apoio às suas decisões?
De que forma a utilização de escalas para a
mensuração dos indicadores estabelecidos
podem contribuir para o apoio à decisão do
gestor público?
Como apresentar os resultados de forma
holística do desempenho, junto com os
resultados parcial e global, aos diversos
usuários de informações do setor público?
De que forma explicitar o desempenho
encontrado aos diversos usuários da
informação pública em relação ao diagnóstico
atual, junto com os pontos fortes e fracos?
Com base nos resultados apresentados e no Quadro 1, as lacunas encontradas permitem a
elaboração desta pergunta de pesquisa: Como promover a construção de conhecimento no decisor para
que ele: (i) identifique quais são os aspectos e objetivos importantes e suficientes para avaliar o
desempenho do contexto no setor público; (ii) construa escalas (ordinais e as transformem em cardinais)
para esses aspectos que atendem à Teoria da Mensuração; (iii) integre as escalas cardinais; (iv)
identifique o diagnóstico gráfico e numérico do status quo no contexto da Avaliação de Desempenho no
setor público; e (v) identifique e hierarquize ações que possam alavancar o aperfeiçoamento desse status
quo? Entende-se que, por meio das questões elencadas conjuntamente ao problema apresentado, é
possível construir pesquisas que considerem cada contexto em sua peculiaridade, com seus específicos
decisores, visando a melhorias, tanto na AD do setor público, quanto no apoio à decisão e gestão
posterior.
5 CONSIDERAÇÕES FINAIS
O objetivo deste trabalho foi conhecer o que o fragmento da literatura referente à avaliação de
desempenho nas publicações científicas internacionais desenvolveu sob a forma de estudos de caso no
setor público, possibilitando a construção de conhecimento nos pesquisadores, para então apontar lacunas
que possam ser investigadas e venham a promover avanços nessa área de conhecimento. Para atingir o
objetivo da pesquisa, foi utilizado o instrumento de intervenção ProKow-C, que permitiu a identificação
de um Portfólio Bibliográfico de 16 artigos, os quais foram analisados pela análise bibliométrica e pelas
lentes da análise sistêmica, com base na afiliação teórica de Ensslin et al. (2013).
O processo de seleção do Portfólio Bibliográfico por meio do ProKnow-C se apresentou como
uma ferramenta adequada, com metodologia clara, objetiva e rigor científico. O processo de busca
apresenta, entre seus objetivos, gerar informação relevante minimizando a aleatoriedade e parcialidade
na seleção de conteúdos científicos. Apesar disso, o pesquisador é agente central desse processo, pois a
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 17 - p. 22, set./dez., 2020. ISSN 1984-3291
Avaliação de desempenho no setor público: oportunidades de pesquisa com base nas lacunas identificadas em estudos de
casos
ferramenta, em seu caráter construtivista, apresenta, em algumas etapas, a possibilidade de influência de
forma justificada nos resultados obtidos.
A análise da bibliometria básica desses artigos permitiu identificar os seguintes pontos: o artigo
Performance management in the UK public sector: Addressing multiple stakeholder complexity é o mais
citado com 145 citações; não foram identificados autores proeminentes no PB encontrado, não havendo
mais do que um artigo por autor; os periódicos mais receptivos foram International Journal of Public
Sector Management e Public Organization Review, ambos com dois artigos no PB; a ferramenta
Balanced Scorecard apresentou-se como a mais estudada e implementada nas organizações; as áreas de
estudos são diversas; e a forma de coleta de dados mais empregada nos estudos de caso analisados é por
meio de entrevistas. Em relação à bibliometria avançada, a inferência da teoria adjacente aponta para a
New Public Management, Teoria da Contingência e Estabelecimento de Metas; a primeira, com estrita
relação ao setor público. Identifica-se assim novo direcionamento quanto à gestão no setor público em
que a medição de desempenho é utilizada como uma ferramenta de mudança de práticas de governança
no setor público. Quanto à classificação dos sistemas de Avaliação de Desempenho entre sistemas de
medição e de gestão de desempenho, apresenta-se aqui mais uma lacuna de contribuição às pesquisas
futuras; apenas Steinbach et al. (2015) apresentaram as características de ambas as classificações.
Com relação à análise sistêmica, pode-se verificar que há baixa incidência de modelos e sistemas
de avaliação que sejam construídos especificamente para cada organização, sob a perspectiva do
gestor/decisor. Foi possível identificar, como oportunidades de pesquisas, a construção de modelos que
levem em consideração a singularidade de cada organização, objeto da AD e de cada gestor, indivíduo
decisor dessa avaliação.
Cada organização deve projetar um instrumento de avaliação e de processo que suporte os
objetivos organizacionais (LONGENECKER; NYKODYM, 1996). Em relação aos modelos a serem
propostos, outra lacuna identificada é a informação do que é mensurado, como se atendem à Teoria da
Mensuração e realizam, posteriormente, integração de seus resultados, a fim de apresentar um resultado
final aos gestores. Por último, concomitante à construção ad hoc do sistema de AD esse, visando à
evidenciação do diagnóstico (status quo) do desempenho atual da organização de ser capaz de
possibilitar/apresentar um processo para gerar ações de aperfeiçoamento, identificando e hierarquizando
ações sugeridas com vista a subsidiar à tomada de decisão dos gestores públicos.
Vale salientar que apesar do volume de estudos sobre avaliação de desempenho do setor público,
há uma escassez de pesquisas empíricas que descrevam em detalhes os sistemas e processos utilizados
em diferentes níveis de governo para medir e gerenciar o desempenho (MICHELI; NEELY, 2010). Tal
percepção também foi possível de se obter neste trabalho. Dentre as limitações deste estudo, destacamse a escolha das bases de dados utilizadas e a utilização apenas de publicações científicas disponíveis
gratuitamente na internet.
REFERÊNCIAS
ADAMS, J. S. Inequity in social exchange. In: Berkowitz, L. (Ed.). Advances in Experimental Social
Psychology. Academic Press, New York. 1965.
AGOSTINO, D.; ARNABOLDI, M. How Performance Measurement Systems support managerial
actions in networks: Evidence from an Italian case study. Public Organization Review, v. 15, n. 1, p.
117-137, 2015.
ARAÚJO, S. S.; MATOS, L. S.; ENSSLIN, S. R. Compras públicas sob a perspectiva da avaliação de
desempenho: uma revisão de literatura e agenda de pesquisa. Revista Gestão & Conexões, v. 9, n. 1,
p. 99-127, 2020.
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 18- p. 22, set./dez. 2020. ISSN 1984-3291
Vinicius Abilio Martins; Sandra Rolim Ensslin
BITITCI, U. S. et al. Performance measurement: challenges for tomorrow. International Journal of
Management Reviews, v. 14, n. 3, p. 305-327, 2012.
BITITCI, U. S. et al. Managerial processes: an operations management perspective towards dynamic
capabilities. Production Planning and Control, v. 22, n. 2, p. 157-173, 2011.
BITITCI, U.S.; TURNER, U.; BEGEMANN, C. Dynamics of performance measurement systems.
International Journal of Operations & Production Management, v. 20, n. 6, p. 692-704, 2000.
BORTOLUZZI, S. C.; ENSSLIN, S. R.; ENSSLIN, L.; VALMORBIDA, S. M. I. Avaliação de
desempenho de redes de pequenas e médias empresas (PMES): lacunas e oportunidades de pesquisa.
Revista Gestão Industrial, v. 9, n.0 4, p. 886-906, 2013.
CARDOSO, T. L.; ENSSLIN, S. R.; ENSSLIN, L.; RIPOLL-FELIU, V.M.; DUTRA, A. Reflexões
para avanço na área de Avaliação e Gestão do Desempenho das Universidades: uma análise da
literatura científica. In: SEMINÁRIOS EM ADMINISTRAÇÃO - SEMEAD, 18., 2015, Anais… São
Paulo/SP, 2015.
DAVIS, S.; ALBRIGHT, T. An investigation of the effect of balanced scorecard implementation on
financial performance. Management accounting research, v. 15, n. 2, p. 135-153, 2004.
DIAS, L. C.; TSOUKIÀS, A. On the constructive and other approaches in decision aiding In: (Ed.).
C.H. Antunes, J. Figueira, J. Clímaco (eds) ? Aide multicritére à la décision: Multiple criteria
decision aiding? CCDRC/INESCC/FEUC. Coimbra, p. 13-28, 2004.
ENSSLIN, L; ENSSLIN, S. R.; DUTRA, A. PROKNOW-C: um processo para geração de
conhecimento e identificação de oportunidades de pesquisa científica. Apostila disciplina.
Florianópolis: Universidade Federal de Santa Catarina, 2016. 110f.
ENSSLIN, L.; ENSSLIN, S.R.; DUTRA, A.; NUNES, N. A.; REIS, C. BPM governance: a literature
analysis of performance evaluation. Business Process Management Journal, v. 23, iss 1, p.71 – 86,
2017.
ENSSLIN, S.R., et al. Improved decision aiding in human resource management A case using
constructivist multi-criteria decision aiding. International Journal of Productivity and Performance
Management, v. 62 n. 7, p.735–757, 2013.
FERREIRA-DA-SILVA, A. et al. Foucault’s Perspective of Performance Appraisal in Public
Administration. Mediterranean Journal of Social Sciences, v. 6, n. 2, p. 375, 2015.
FRANCO-SANTOS, M. et al. Towards a definition of a business performance measurement system.
International Journal of Operations & Production Management, v.27, n.8, p.784-801, 2007.
FRANCO-SANTOS, M.; LUCIANETTI, L.; BOURNE, M. Contemporary performance measurement
systems: A review of their consequences and a framework for research. Management Accounting
Research, v. 23, n. 2, p. 79-119, 2012.
FREEMAN, R. E. Strategic Management: A Stakeholder Approach. Boston, Pitman. 1984.
GOH, S. C.; ELLIOTT, C.; RICHARDS, G. Performance management in Canadian public
organizations: findings of a multi-case study. International Journal of Productivity and
Performance Management, v. 64, n. 2, p. 157-174, 2015.
GREATBANKS, R.; TAPP, D. The impact of balanced scorecards in a public sector environment:
Empirical evidence from Dunedin City Council, New Zealand. International Journal of Operations
& Production Management, v. 27, n. 8, p. 846-873, 2007.
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 19 - p. 22, set./dez., 2020. ISSN 1984-3291
Avaliação de desempenho no setor público: oportunidades de pesquisa com base nas lacunas identificadas em estudos de
casos
HAYES, D. C. The contingency theory of managerial accounting. The Accounting Review, v.61, n.1,
p.22–38. 1977.
JENSEN, M. C.; MECKLING, W. H. Theory of the firm: managerial behaviour, agency cost and
ownership structure. Journal of Financial Economics, v. 3, p. 305-360. 1976.
JOYCE, P. Strategy in the Public Sector. A Guide to Effective Change Management, Wiley & Sons
Ltd, Chichester, 2000.
LAPSLEY, I.; WRIGHT, E. The diffusion of management accounting innovations in the public sector:
a research agenda. Management Accounting Research, v. 15, n. 3, p. 355-374, 2004.
LIU, X.; VAN DOOREN, W. How to Measure Leader’s Impact on Organizational Performance:
Implications from the Comparative Case Study. Public Organization Review, v.15, n.2, p.193-206,
2015.
LOCKE, E.; LATHAM, G. A Theory of Goal Setting and Task Performance. Prentice Hall,
Englewood Cliffs, N. J. 1990.
LONGENECKER, C. O.; NYKODYM, N. Public sector performance appraisal effectiveness: A case
study. Public Personnel Management, v. 25, n. 2, p. 151-164, 1996.
MACBRYDE, et al. Transformation in the defence sector: The critical role of performance
measurement. Management Accounting Research, v. 25, n. 2, p. 157-172, 2014.
MACIEL, A. R.; MARTINS, V. A. Percepção da qualidade em serviços contábeis: Estudo de caso em
um escritório contábil em Foz do Iguaçu/PR. Revista Evidenciação Contábil & Finanças, v. 6, n. 2,
p. 95-113, 2018.
MARTINS, V. A. Proposta de um Mapa Estratégico para uma Universidade Pública. Revista
Evidenciação Contábil & Finanças, v. 3, n. 2, p. 88-103, 2015.
MARTINS, V. A.; ENSSLIN, S. R.; ENSSLIN, L. Apoio à Gestão de Pagamentos para uma
Universidade Federal: Proposta de um Modelo Multicritério Construtivista. Revista Facultad de
Ciencias Económicas: Investigación y Reflexión, v. 26, n. 2, p. 61-83, 2018.
MARTINS, V. A.; ENSSLIN, S. R. Performance evaluation: what theoretical studies highlight about
this theme. International Journal of Business Performance Management, v. 21, n. 4, p. 455-476,
2020.
MATOS, L. D. S.; VALMORBIDA, S. M. I.; MARTINS, V. A.; ENSSLIN, S. R. Development of
Performance Evaluation Theme: A Systematic Analysis of the Literature. Contextus - Revista
Contemporânea de Economia e Gestão, v. 17, n. 2, p. 63-97, 2019.
MARTINS, V. A.; ENSSLIN, S. R.; DUTRA, A. Avaliação de Desempenho Organizacional: trajetória
das pesquisas internacionais por meio de paradigmas e teorias. Cuadernos de Contabilidad, v. 19, n.
47, p. 94-116, 2018.
MARTINS, V. A.; ENSSLIN, S. R. Analysis of the use of performance evaluation theoretical
foundations in empirical studies: an investigation in publications aiming at future research questions.
International Journal of Business Innovation and Research, v. 23, n. 1, p. 41-63, 2020.
MCADAM, R.; HAZLETT, S.; CASEY, C. Performance management in the UK public sector:
addressing multiple stakeholder complexity. International Journal of Public Sector Management, v.
18, n. 3, p. 256-273, 2005.
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 20- p. 22, set./dez. 2020. ISSN 1984-3291
Vinicius Abilio Martins; Sandra Rolim Ensslin
MELNYK, S. A. et al. Is performance measurement and management fit for the future?. Management
Accounting Research, v. 25, n. 2, p. 173-186, 2014.
MENSAH, W.; GEORGE, B. P. Performance Management in the Public Sector: An Action-Research
Based Case Study in Ghana. Journal of Applied Economics & Business Research, v.5, n.2, p.97-111,
2015.
MICHELI, P.; NEELY, A. Performance measurement in the public sector in England: Searching for
the golden thread. Public Administration Review, v.70, n.4, p.591-600, 2010.
MILLER, G. The magical number seven, plus or minus two: some limits on our capacity for
information processing. Psychological Review, v. 101, n. 2, p. 343-352, 1955.
MODELL, S. Performance management in the public sector: past experiences, current practices and
future challenges. Australian Accounting Review, v. 15, n. 37, p.56-66, 2005.
MODELL, S. Bundling management control innovations: A field study of organisational
experimenting with total quality management and the balanced scorecard. Accounting, Auditing &
Accountability Journal, v. 22, n. 1, p. 59-90, 2009.
NATH, N.; SHARMA, U. Performance management systems in the public housing sector:
Dissemination to diffusion. Australian Accounting Review, v.24, n.1, p.2-20, 2014.
NEELY, A. The evolution of performance measurement research: developments in the last decade and
a research agenda for the next. International Journal of Operations & Production Management, v.
25, n. 12, p. 1264-1277, 2005.
NEWBERRY, S.; PALLOT, J. Freedom or coercion?: NPM incentives in New Zealand central
government departments. Management Accounting Research, v.15, n.3, p.247-266, 2004.
NUDURUPATI, S. S. et al. State of the art literature review on performance measurement. Computers
& Industrial Engineering, v. 60, n. 2, p. 279-290, 2011.
PEDERSINI, D. R.; ENSSLIN, S. R.. Os Estudos Empíricos Internacionais No Setor Público Têm
Feito Uso Dos Sistemas De Avaliação De Desempenho Em Sua Plenitude?. Revista Eletrônica de
Estratégia & Negócios, v. 13, p. 207-235, 2020.
PIMENTEL, L.; MAJOR, M. J. Quality management and a balanced scorecard as supporting
frameworks for a new management model and organisational change. Total Quality Management &
Business Excellence, v. 25, n. 7-8, p. 763-775, 2014.
RANTANEN, H. et al. Performance measurement systems in the Finnish public sector. International
Journal of Public Sector Management, v. 20, n. 5, p. 415-433, 2007.
RICHARDSON, R. J. Pesquisa Social: métodos e técnicas. 3. ed. São Paulo: Atlas, 1999.
ROY, B. Decision science or decision-aid science?. European Journal of Operational Research, v.
66, n. 2, p. 184-203, 1993.
STAEDELE, A. E.; ENSSLIN, S. R.; FORCELLINI, F. A. Knowledge building about performance
evaluation in lean production. Journal of Manufacturing Technology Management, v. 30, n. 5, p.
798-820, 2019.
STEINBACH, A.; DUTRA, A.; SILVA. M. Z. da; ENSSLIN, S. R. Avaliação de Desempenho do
Processo de Comunicação da Vigilância Sanitária por meio da Metodologia Multicritério de Apoio à
Decisão Construtivista (MCDA-C). Espacios, v. 36, n. 20, 2015.
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 21 - p. 22, set./dez., 2020. ISSN 1984-3291
Avaliação de desempenho no setor público: oportunidades de pesquisa com base nas lacunas identificadas em estudos de
casos
THIEL, G. G.; ENSSLIN, S. R.; ENSSLIN, Leonardo. Street Lighting Management and Performance
Evaluation: Opportunities and Challenges. Lex Localis-Journal of Local Self-Government, v. 15, n.
2, p. 303-328, 2017.
VALMORBIDA, S. M. I.; ENSSLIN, S. R.; ENSSLIN, L.; RIPOLL-FELIU, V. M. Avaliação de
Desempenho para Auxílio na Gestão de Universidades Públicas: Análise da Literatura para
Identificação de Oportunidades de Pesquisas. Contabilidade, Gestão e Governança, v.17, n.3, p.0428, 2014.
VALMORBIDA, S. M. I.; ENSSLIN, L. Construção de conhecimento sobre avaliação de desempenho
para gestão organizacional: uma investigação nas pesquisas científicas internacionais. Revista
Contemporânea de Contabilidade, v. 13, n. 28, p. 123-148, 2016.
YEH, C.; DENG, H.; CHANG, Y. Fuzzy multicriteria analysis for performance evaluation of bus
companies. European Journal of Operational Research, v. 126, n. 3, p. 459-473, 2000.
WELTER, L. M.; PEDERSINI, D. R.; ENSSLIN, S. R. Como a literatura sobre a Avaliação de
Desempenho no Setor Público, por meio de estudos empíricos, pode ser sintetizada em contribuições
para o conhecimento da área. In: ENCONTRO DA ANPAD, 43., 2019. Anais… 2019.
Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 25, n.3, p. 22- p. 22, set./dez. 2020. ISSN 1984-3291