II Colóquio Comunicação Científica, Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par Revisão por pares na aprendizagem Revisão por pares na aprendizagem 17 anos de prática e pesquisa no Projeto Par Vinícius Medina Kern* Universidade Federal de Santa Catarina Programa de Pós-Graduação em Ciência da Informação (PGCIN) Programa de Pós-Graduação em Engenharia e Gestão do Conhecimento (EGC) Grupo de Pesquisa em Informação, Tecnologia e Sociedade * Com apoio do CNPq no período , Edital Universal. II Colóquio Internacional Tendências Contemporâneas da Comunicação Científica: Desafios e perspectivas Florianópolis: UFSC, 1-3/12/2014 Apresentação CO21c: Quarta-feira, 3/12, sesão 15:30-16:30, sala I Estes slide em share.net/vmkern

II Colóquio Comunicação Científica, Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par Introdução Trabalho do cientista: muitas vezes individual,... mas a ciência é conhecimento público* e depende da comunicação científica. Universidade: instrui para produzir ciência, mas não para a avaliar (há exceções ‡ ). * Ziman, J. (1979). Conhecimento público. Belo Horizonte: Itatiaia. ‡ Pond, K., Ul ‐ Haq, R. & Wade, W. (1995). Peer review: a precursor to peer assessment. Programmed Learning, 32(4), Moreira, D. A., & Silva, E. Q. (2003). A method to increase student interaction using student groups and peer review over the internet. Education and Information Technologies, 8(1), Yankulov, K., & Couto, R. (2012). Peer review in class: Metrics and variations in a senior course. Biochemistry and Molecular Biology Education, 40(3),

II Colóquio Comunicação Científica, Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par Avaliação de trabalhos científicos: usualmente, revisão por pares. Idealmente, é uma oportunidade de escrutínio por vários olhares peritos, mas pode ser uma forma de censura ou Inquisição ou meramente um cotejamento de ignorâncias e/ou desleixos. Introdução

II Colóquio Comunicação Científica, Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par Relevância científica (e socioeconômica) da revisão por pares: Decide o que terá ou não verba (projetos) e visibilidade (artigos) Por que, então, a universidade esconde a revisão por pares? Eu sei que o Nani misturou Prometeu com Sísifo, mas até que a revisão por pares às vezes suscita punição semelhante à de ambos... Introdução

II Colóquio Comunicação Científica, Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par Principais características Estudantes: autores e revisores (avaliados como tais) Instrução para elaborar o trabalho e para revisar Organização: este professor (às vezes, com auxiliares) Processo duplo-cego (sempre que possível), rodada única Objeto: artigos, propostas de tese/dissertação, diversos tipos de modelos Tecnologia: Excel e . Software de gestão (OJS) complicou mais que resolveu. Instrumento de revisão (formulário) : exemplo no próximo slide Histórico, quantitativos, pesquisa: a seguir Projeto Par Revisão por pares na aprendizagem, desde 1997

II Colóquio Comunicação Científica, Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par

1994: experiência como aluno (Virginia Tech) 1 a experiência na PG (esp.) Único fracas- so total Palestra PPGECT. Tese: efetividade como abordagem pedagógica Growing a peer review culture among graduate students Confiabilidade da revisão recíproca anônima de propostas de mestrado (LIINC) Total: 1499 (70% UFSC)

II Colóquio Comunicação Científica, Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par  Tese de pesquisadora coautora: SARAIVA, L. M. Proposta metodológica de aplicação da revisão pelos pares como instrumento pedagógico para a educação ambiental. Florianópolis, f. Tese (Doutorado) - Universidade Federal de Santa Catarina, Programa de Pós-Graduação em Engenharia de Produção.Proposta metodológica de aplicação da revisão pelos pares como instrumento pedagógico para a educação ambiental  Análise de conteúdo sobre entrevistas com alunos de graduação  Algumas manifestações: “Tivemos a oportunidade em [sic] compreender como a ciência valida suas pesquisas”. “A atividade e [a] avaliação não ficam centralizadas no professor” “A atividade permite mudanças quando a devolução é detalhada e nos faz pensar. Se for uma devolução superficial e descomprometida não adianta”. Pesquisa (I) Efetividade como abordagem pedagógica

II Colóquio Comunicação Científica, Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par  Artigo: DENISCZWICZ, M.; KERN, V. M. Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado. Liinc em revista, v. 9, n. 1, p , 2013.Indicadores de gestão na revisão por pares: confiabilidade da revisão recíproca anônima de propostas de mestrado Pesquisa (II) Concordância entre revisores

II Colóquio Comunicação Científica, Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par  Projeto Par: 46 certames realizados (12/2014) e 1499 participações de alunos Projeto Par  Propósito: promover a competência dos alunos a ponto de favorecer a consolidação de uma cultura acadêmica de crítica objetiva.  Sucessos (ok...) e fracassos (mais fascinantes) Num modelo de escola que instila conformidade e repetição, não é surpresa que alguns alunos prefiram resistir, resguardando-se na queixa que “sugere que existe dificuldade no exercício da autonomia e independência” (SARAIVA, 2002, p. 66).  Pró-capacidade crítica dos cidadãos: “Embora os cientistas sejam uma minoria da população, a cidadania democrática em uma sociedade moderna depende, entre outras coisas, da habilidade dos cidadãos para compreender, criticar e usar ideias e argumentos científicos.” INGLATERRA. The United Kingdom Parliament. Science and technology: 3 rd report. House of Lords, 2000.The United Kingdom Parliament Considerações finais

II Colóquio Comunicação Científica, Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par OBRIGADO! UFSC/CED/CIN – Programa de Pós-Graduação em Ciência da Informação Grupo de Pesquisa Informação, Tecnologia e Sociedade