Avaliação do futuro: sistema de avaliação das competências gerais da Base Nacional Comum Curricular

O projeto de pesquisa cultural "Avaliação do Futuro" busca desenvolver indicadores de monitoramento para as competências gerais da Base Nacional Comum Curricular (BNCC), levando em consideração a diversidade cultural. Além de identificar construtos relacionados a competências como socioemocionais, raciocínio e pensamento criativo, o projeto também visa incorporar elementos culturais relevantes para uma compreensão mais holística do desenvolvimento educacional. A avaliação incluirá a análise de indicadores de equidade/desigualdade, considerando as influências culturais no desenvolvimento socioemocional, no ambiente escolar e na aprendizagem de grupos pertencentes a minorias sociais. Uma plataforma eletrônica será projetada de maneira sensível à diversidade cultural, permitindo que os estudantes expressem suas respostas de maneira mais contextualizada.

Objetivo Específico 1.Indicadores de Monitoramento para as Competências Gerais da BNCC. A) Análise de conteúdo e mapeamento das competências gerais da BNCC com os construtos usados em avaliações internacionais especialmente conduzidas pela OECD;B) Seleção de um conjunto de instrumentos que potencialmente podem representar os ingredientes das competências gerais. Contemplar itens/instrumentos de avaliação que serão utilizados também para cumprir o objetivo específico 2.C) Subdivisão de itens de avaliação e distribuição deles em 12 cadernos de testagem informatizada com 100 a 130 itens cada, usando a metodologia de planejamento sistemático de casos omissos Balanced Incomplete Block Design (BIB; van der Linden et al., 2004) criando-se um protocolo de avaliação a ser usado nesse estudo. D) Coleta de dados: cada caderno é aplicado em uma amostra aleatória de, pelo menos, 10.000 estudantes.Com esse desenho permite-se estudar as correlações entre todos os itens e criarem-se indicadores para todos os construtos com amostras aleatórias de unidades relevantes para o sistema educacional como série, escola e regionais de ensino. E) Todos os itens contidos no protocolo de avaliação serão submetidos à análise fatorial exploratória, de modo que seja possível identificar como eles se organizam empiricamente, se corroboram a organização esperada para o Modelo dos Cinco Grandes Fatores Socioemocionais. F) Também serão buscadas evidências de validade externa correlacionando os construtos com desempenho acadêmico em língua portuguesa e matemática, com padrões desenvolvimentais, por idade e gênero. G) Ao lado disso, serão investigadas evidências de validade externa para esses indicadores por meio de suas relações com resultados de vida como violência, bullying, saúde mental, saúde geral e pertencimento escolar. Em conjunto essas análises irão compor o julgamento da validade e utilidade dos indicadores de competências da base. Objetivo Específico 2.Indicadores de equidade/desigualdade e sua influência no desenvolvimento socioemocional e no ambiente escolar e sua relação com aprendizagem. Esse estudo será feito com a mesma amostra do estudo anterior. Além das variáveis já indicadas serão usados nesse estudo as competências socioemocionais com o Instrumento Senna, as notas padronizadas de português e matemática do SARESP, um questionário de pertencimento escolar, um questionário de violência escolar com perguntas sobre envolvimento com problemas disciplinares e comportamentos de bullying e um questionáriosociodemográfico, incluindo variáveis de gênero, idade, condição socioeconômica, entre outras. Plano de análise de dados: A) Para investigar as questões propostas, primeiramente, serão efetuadas análises inferenciais verificado se existem diferenças significativas de médias entrecompetências socioemocionais, pertencimento escolar, aprendizado escolar e exposição à violência de acordo com gênero, raça e condições socioeconômicas. B) Em seguida será utilizada regressão multinível (estudante, nível 1, e escola, nível 2), testando-se se eventuais diferenças nessas variáveis se associam às escolas. Na modelagem multinível será estudada se há variação da associação das variáveis gênero, raça e condições socioeconômicas com as competênciassocioemocionais, pertencimento escolar, aprendizado escolar e exposição à violência por escolas incorporando no modelo slopes randômicos e testando se hávariação significativa. C) A partir desses resultados serão criados indicadores de desigualdade. D) Por último serão testados modelos com interações entre essas variáveis, particularmente as variáveis socioemocionais e eventuais indicadores dedesigualdade nas variáveis cognitivas. Pretende-se verificar se em escolas com eventual maior senso de pertencimento há menor indicadores de desigualdade. Objetivo Específico 3.Plataforma eletrônica:A) Desenvolvimento de sistema informatizado de aplicação de instrumentos de avaliação selecionados em cumprimento dos objetivos específicos 1 e 2. B) Para isto, será necessário criar um documento de requisitos técnicos para demandar o trabalho dos desenvolvedores considerando as regras de negócio estabelecidas. C) Desenvolvimento de protótipo de relatório de devolutiva, ainda off-line (PDF); D) Apresentação do relatório de devolutiva em evento à rede de ensino avaliada, com o objetivo de informa-los e de coletar insumos sobre o valor ao usuário, de modo que, posteriormente, uma versão aprimorada deste protótipo possa ser automatizada e inserida no sistema informatizado para que as redes de ensino avaliadas tenham acesso aos resultados por esta via, futuramente. E) Automatização de relatório de devolutiva no sistema informatizado (2025).

PRODUTO CULTURAL: Pesquisa OBJETIVO GERAL: Elaborar um sistema de avaliação e monitoramento das competências gerais da BNCC, considerando de maneira intrínseca os aspectos culturais. Isso implica a inclusão de indicadores específicos para o desenvolvimento socioemocional, bem como para competências híbridas, como pensamento crítico e criatividade, levando em consideração a diversidade cultural presente nas salas de aula. Além disso, o projeto visa identificar e abordar desigualdades no contexto escolar, com uma ênfase especial na compreensão das disparidades sociais que permeiam aspectos culturais que podem influenciar o aprendizado. Os resultados obtidos serão fundamentais para a formulação e aprimoramento de políticas educacionais que respeitem e valorizem as diversas manifestações culturais dos estudantes. A intenção é também subsidiar a implementação de recursos de alta qualidade, embasados em evidências científicas, que promovam a aprendizagem socioemocional de maneira culturalmente sensível, alinhada às competências preconizadas pela BNCC para o desenvolvimento integral dos estudantes. Essa ferramenta estará acessível online e gratuitamente à toda sociedade, governos, instituições e profissionais da cultura e educação. OBJETIVOS ESPECÍFICOS: 1. Indicadores de Monitoramento para as Competências Gerais da BNCC:Esta pesquisa busca não apenas compreender as competências gerais da BNCC, mas também reconhecer e integrar elementos culturais essenciais para uma avaliação mais abrangente dos alunos. Isso inclui a consideração de construtos socioemocionais e competências híbridas à luz das experiências sociais culturais dos estudantes. A adaptação do modelo conceitual da BNCC às realidades culturais nacionais e internacionais é crucial, visando identificar sub-habilidades e estabelecer indicadores que capturem de maneira sensível o desenvolvimento dessas competências. A hipótese de mapear as competências gerais usando a taxonomia do big-five socioemocional enfatiza a importância de alinhar a avaliação culturalmente diversificada com instrumentos publicamente disponíveis. 2. Indicadores de Equidade/Desigualdade e Sua Influência no Desenvolvimento Socioemocional e no Ambiente Escolar e sua Relação com Aprendizagem:Ao explorar as competências socioemocionais da BNCC, esta pesquisa concentra-se fortemente em entender como variáveis sociais e culturais, como gênero, raça e condição socioeconômica, impactam essas competências. A abordagem cultural é central para investigar desigualdades no desempenho escolar e na vivência escolar, com o objetivo de identificar diferenças de clima escolar de acordo com a diversidade cultural. A busca por evidências sobre o papel das competências socioemocionais como fatores protetivos contra desigualdades sociais e econômicas ressalta o compromisso do projeto em abordar questões culturais cruciais. 3. Plataforma Eletrônica: A criação da plataforma eletrônica não apenas visa disponibilizar os instrumentos para avaliar as competências gerais da BNCC, mas também procura incorporar uma abordagem social e cultural na apresentação de relatórios de devolutivas. A plataforma, ao ser desenvolvida, precisa ser sensível às nuances culturais, garantindo que o relatório de devolutiva seja compreensível e útil para profissionais da educação, considerando a diversidade cultural. A avaliação da percepção dos usuários destaca a importância de garantir que o material seja claro e adaptado às diferentes experiências culturais, promovendo uma avaliação culturalmente responsiva.

Este projeto se enquadra na LEI Nº 8.313, DE 23 DE DEZEMBRO DE 1991, de acordo com os seguintes objetivos: Art. 1° Fica instituído o Programa Nacional de Apoio à Cultura (Pronac), com a finalidade de captar e canalizar recursos para o setor de modo a: I - contribuir para facilitar, a todos, os meios para o livre acesso às fontes da cultura e o pleno exercício dos direitos culturais; II - promover e estimular a regionalização da produção cultural e artística brasileira, com valorização de recursos humanos e conteúdos locais; III - apoiar, valorizar e difundir o conjunto das manifestações culturais e seus respectivos criadores; IV - proteger as expressões culturais dos grupos formadores da sociedade brasileira e responsáveis pelo pluralismo da cultura nacional; V - salvaguardar a sobrevivência e o florescimento dos modos de criar, fazer e viver da sociedade brasileira; VIII - estimular a produção e difusão de bens culturais de valor universal, formadores e informadores de conhecimento, cultura e memória; IX - priorizar o produto cultural originário do País. Art. 3° Para cumprimento das finalidades expressas no art. 1° desta lei, os projetos culturais em cujo favor serão captados e canalizados os recursos do Pronac atenderão, pelo menos, um dos seguintes objetivos: I - incentivo à formação artística e cultural, mediante: a) concessão de bolsas de estudo, pesquisa e trabalho, no Brasil ou no exterior, a autores, artistas e técnicos brasileiros ou estrangeiros residentes no Brasil; c) instalação e manutenção de cursos de caráter cultural ou artístico, destinados à formação, especialização e aperfeiçoamento de pessoal da área da cultura, em estabelecimentos de ensino sem fins lucrativos; II - fomento à produção cultural e artística, mediante: b) edição de obras relativas às ciências humanas, às letras e às artes; IV - estímulo ao conhecimento dos bens e valores culturais, mediante: b) levantamentos, estudos e pesquisas na área da cultura e da arte e de seus vários segmentos; E ainda, Nas últimas duas décadas, a crescente atenção à avaliação das competências do século XXI, especialmente as socioemocionais, reflete um reconhecimento cultural de que o sucesso na vida não se limita apenas ao desempenho acadêmico em disciplinas tradicionais. Essa mudança de paradigma reconhece a necessidade de desenvolver habilidades transferíveis essenciais para enfrentar os desafios de um mundo volátil, incerto, complexo e ambíguo (VUCA). Além dos conhecimentos acadêmicos, as escolas agora reconhecem a importância de capacidades como colaboração, gestão da diversidade, regulação emocional, criatividade, raciocínio crítico e comunicação. Essas competências são vistas como vitais para uma educação completa e bem-sucedida. A perspectiva cultural é evidente na consideração dessas competências como parte integrante do desenvolvimento global dos estudantes, reconhecendo a diversidade de habilidades necessárias em diferentes culturas e contextos. A Base Nacional Comum Curricular (BNCC) reflete essa perspectiva ao incluir competências gerais alinhadas às exigências do século XXI. O projeto de avaliação proposto busca ir além da avaliação tradicional, abrangendo aspectos socioemocionais, competências híbridas como pensamento crítico e criatividade, e desigualdades culturais no contexto escolar. Reconhece-se que as variáveis culturais influenciam diretamente no desenvolvimento dessas competências. A intenção de gerar insumos para políticas educacionais e recursos de alta qualidade baseados em evidências científicas evidencia o compromisso de alinhar a abordagem culturalmente sensível com a promoção da aprendizagem socioemocional e o desenvolvimento integral dos estudantes, considerando as diversas realidades culturais presentes no contexto educacional brasileiro. Isso demonstra uma compreensão profunda de que a educação eficaz deve ser sensível às especificidades culturais, promovendo um ambiente educacional que valorize a diversidade e contribua para o crescimento integral de cada estudante.

PARA COLETA DE DADOS (Rede Estadual Ceará): Data: maio ou agosto – duração 1 mês de coleta direta com estudantesArticulação com rede - 2 reuniões presenciais - 3 pessoas - 3 diasDesenvolvimento sistema (itens abertos)/ parametrização da coleta (criação dos cadernos no sistema e preparação da coleta) - 1 desenvolvedor 2 meses + help desk para período da coletaAcompanhamento da coleta presencial (Ceará)/ grupo focal - 3 pessoas - 1 semana (2 IAS e uma Agente técnico)Preparação e sistematização do grupo focal - Agente técnico 80hs por 1 mês Análise dos resultados Ferramenta onlineViagem 6 pessoas IAS por 2 diasIntérprete de libras + acessibilidade deficiência física Divulgação/ comunicação Objeto específico 1:a) Uma apresentação dos resultados alcançados, em modelo mesa redonda ou similar, em congresso científico relacionado ao tema (educação, ou avaliação educacional); a. Logística para 1 colaborador apresentar em congresso nacional (referência SP- Brasilia) b) Instrumentos/itens de avaliação dos indicadores criados;c) Pacote em R para scoring/correção dos indicadores criados;d) Pacote em R com os métodos de análise psicométrica (TCT, TRI e MIRT) para análise de instrumentos socioemocionais. Objeto específico 2:a) obter dois indicadores de desigualdade social e econômica com base nos marcadores sociais de raça, gênero e condição socioeconômica;b) Uma apresentação dos resultados alcançados, em modelo mesa redonda ou similar, em congresso científico relacionado ao tema (educação, ou avaliação educacional);a. Logística para 1 colaborador apresentar em congresso internacional (referência SP - Europa) c) 1 Whitepaper (formato e-book) sobre diversidade e equidade na educação básica, com linguagem para comunicação não-científica, objetivando comunicar os resultados para um público mais amplo;a. Revisor de textob. Diagramaçãod) publicar um pacote em R com os indicadores de desigualdade criados. Objeto específico 3:a) Sistema informatizado para a coleta de dados e com estrutura suficiente para receberautomatização de relatório de devolutiva.

PRODUTO: Pesquisa | Plataforma e Sistema com os resultados da Acessibilidade para Deficiência Visual: 1. Leitor de Tela:- Certificar-se de que o conteúdo da plataforma seja compatível com leitores de tela populares, como JAWS, NVDA ou VoiceOver.- Incluir descrições de texto (alt text) em todas as imagens e gráficos para que sejam interpretados pelos leitores de tela. 2. Contraste e Tamanho de Fonte:- Utilizar esquemas de cores de alto contraste.- Oferecer opções para aumentar ou diminuir o tamanho da fonte. 3. Navegação Simplificada:- Fornecer uma navegação clara e lógica por meio de cabeçalhos e rótulos bem estruturados.- Incluir links de salto para permitir que usuários pulem diretamente para o conteúdo principal. Acessibilidade para Deficientes Intelectuais: 1. Simplicidade e Clareza:- Manter o design da plataforma simples e intuitivo.- Utilizar linguagem clara e concisa nas instruções e textos informativos. 2. Suporte Multimodal:- Incluir opções de suporte multimodal, como vídeos explicativos, gráficos visuais e texto.- Fornecer resumos ou destaques para informações essenciais. Acessibilidade para Deficiência Auditiva: 1. Legendas e Transcrições:- Inserir legendas em vídeos para usuários com deficiência auditiva.- Oferecer transcrições completas de conteúdos de áudio. 2. Comunicação Visual:- Utilizar recursos visuais, como ícones e gráficos, para complementar informações auditivas.- Incluir alertas visuais para notificações importantes. Medidas Gerais: 1. Compatibilidade com Tecnologias Assistivas:- Garantir que a plataforma seja compatível com tecnologias assistivas, como softwares de voz, teclados especiais e dispositivos de entrada alternativos. 2. Testes de Usabilidade com Diversos Perfis:- Realizar testes de usabilidade com usuários que tenham diferentes necessidades de acessibilidade.- Incorporar feedback dos usuários durante o desenvolvimento para aprimorar continuamente a acessibilidade. 3. Documentação Acessível:- Disponibilizar manuais e guias de uso em formatos acessíveis, como PDFs acessíveis e versões em texto simples. 4. Suporte Técnico Acessível:- Oferecer canais de suporte técnico acessíveis, como chat de texto, e-mail e atendimento telefônico com suporte a TTY (teletipo para deficientes auditivos).

PRODUTO: Pesquisa e seus resultados em Plataforma/sistema/software 1. Gratuidade:- Disponibilizar a plataforma/sistema/software de forma gratuita em plataforma online, garantindo que a pesquisa seja acessível a pessoas de diferentes faixas de renda. 2. Disseminação pela Internet- Multiplicação e divulgação da plataforma/sistema/software por diversas mídias, permitindo que pessoas de todo o mundo tenham acesso virtual ao conteúdo da pesquisa. 3. Inclusão Digital:- Promover a inclusão digital, disponibilizando a plataforma/sistema/software online, para que as pessoas possam explorar o conteúdo e resultados da pesquisa. 4. Iniciativas de Responsabilidade Social:- Estabelecer parcerias com organizações sem fins lucrativos e comu.nidades para oferecer o acesso e disseminar a plataforma/sistema/software

Dr. Ricardo Primi (eduLab21 – Instituto Ayrton Senna) Será o pesquisador responsável. Fará a coordenação e gestão de todas as fases dos quatro objetos de investigação, discutindo com os membros da equipe os problemas de pesquisa e o desenho metodológico para alinhar os métodos dos subprojetos para que atinjam seus objetivos almejados, além de orientar a execução de todas as atividades para atingir aos objetivos das pesquisas. Dr. Felipe Valentini (eduLab21 – Instituto Ayrton Senna) Será um dos pesquisadores principais irá auxiliar na coordenação do projeto nos quatro objetos de investigação; bem como colaborar diretamente nas atividades do projeto, principalmente dos objetos de investigação um, dois e três. As atividades previstas contemplam análises dos construtos, análise de dados, construção de modelos multiníves, apoio na aplicação de métodos de PLN e na construção de relatório de devolutiva. Dr. Nelson Hauck Filho (Universidade São Francisco e eduLab21 – Instituto Ayrton Senna). Será um dos pesquisadores principais irá auxiliar na coordenação do projeto nos quatro objetos de investigação; bem como colaborar diretamente nas atividades do projeto, principalmente dos objetos de investigação um, dois e três. As atividades previstas contemplam análises dos construtos, análise de dados, construção de modelos multiníves, apoio na aplicação de métodos de PLN e na construção de relatório de devolutiva. Ms. Gisele Alves (eduLab21 Instituto Ayrton Senna). Participará como pesquisadora associada, colaborando nas atividades de desenvolvimento de instrumentos, gerenciamento das coletas e obtenção de dados relacionados aos objetos de pesquisa 1, 2 e 3, em articulação com a Secretaria de Educação do Estado de São Paulo. Também irá gerenciar o trabalho de terceiros referentes ao projeto 4. Gisele atuará como gerente de projetos representante do Instituto Ayrton Senna. Irá atuar também na elaboração de manuscritos para publicação, na submissão de trabalhos para eventos científicos e na elaboração de materiais de divulgação científica (e.g. white papers ou e-books). Dra. Ana Carla Crispim (eduLab21 Instituto Ayrton Senna). Participará como pesquisadora associada. Pretende colaborar nas atividades de desenvolvimento de instrumentos e análises de dados, assim como no auxílio na gestão do projeto durante as coletas de dados, articulação do Instituto Ayrton Senna com a equipe da Universidade São Francisco, e contratação e gerenciamento de terceiros. Atuará principalmente nos objetos de pesquisa 1 e 2, oferecendo apoios pontuais no objeto de pesquisa 4. Atuará como coorientadora de um dos bolsistas de doutorado ligado ao objeto de pesquisa 2. Atuará também na elaboração de manuscritos para publicação, no desenvolvimento dos pacotes de R para estimação de indicadores, na submissão de trabalhos para eventos científicos e na elaboração de materiais de divulgação científica (e.g. white papers ou e-books). Dra. Karen Cristine Teixeira (eduLab21 Instituto Ayrton Senna). Irá participar como pesquisadora associada. Irá colaborar nas atividades de desenvolvimento de instrumentos, análise de dados assim como na articulação de coletas e gerenciamento de terceiros, no objeto de pesquisa 3. Atuará como co-orientadora de um dos bolsistas de iniciação científica ligado ao objeto de pesquisa 3. Pretende atuar também na elaboração de manuscritos para publicação, na submissão de trabalhos para eventos científicos e na elaboração de materiais de divulgação científica (e.g. white papers ou e-books). Dra. Ana Carolina Zuanazzi (eduLab21 Instituto Ayrton Senna). Atuará como pesquisadora associada. Pretende colaborar nas atividades de desenvolvimentode instrumentos, assim como na articulação de coletas e gerenciamento de terceiros, no objeto de pesquisa 1 e 3. Atuará como co-orientadora de um dos bolsistas de iniciação científica ligado ao objeto de pesquisa 3. Pretende atuar também na elaboração de manuscritos para publicação, na submissão de trabalhos para eventos científicos e na elaboração de materiais de divulgação científica (e.g. white papers ou e-books). Dr. Vithor Rosa (Universidade São Francisco). Atuará como pesquisador associado junto com os pesquisadores principais e o pesquisador responsável. Irá colaborar nas atividades de desenvolvimento e cálculo de indicadores educacionais e psicológicos, bem como na construção de instrumentos, análises einterpretação de dados. Terá um papel importante no desenvolvimento de pacotes em R ligados aos quatro objetos de pesquisa. Pretende contribuir também com a elaboração de manuscritos científicos, na submissão de trabalhos para eventos científicos e na elaboração de material de divulgação dos resultados do projeto para o público geral, não acadêmico. Dr. Rodolfo Ambiel (Pontifícia Universidade Católica de Campinas – PUCCampinas). Atuará como pesquisador associado. Irá colaborar especialmente no projeto 4 no desenvolvimento de relatórios a serem usados na plataforma eletrônica para monitoramento e feedback para gestores e estudantes. Irá também colaborar na construção de instrumentos e indicadores ligados ao projeto 1 e 2. Irá contribuir com a elaboração de manuscritos científicos e na submissão de trabalhos para eventos científicos. Dr. Alexandre José de Souza Peres (Universidade Federal do Mato Grosso do Sul, UFMS). Participará como pesquisador associado. Irá colaborar nas atividades de desenvolvimento e cálculo de indicadores educacionais e psicológicos, além do desenvolvimento de correções automatizadas de testes e outras análises de dados textuais por meio de técnicas de NLP e inteligência artificial. Mais especificamente, atuará nos objetos de pesquisa 1 e 3. Além disso, pretende atuar na elaboração de manuscritos para publicação e participar de eventos científicos ou junto a gestores públicos e do terceiro setor para disseminação do projeto de pesquisa e de seus resultados. Dr. Filip de Fruyt (Gent University) Participará como pesquisador associado. Irá colaborar nas atividades mais amplas de discussão do desenho e método do projeto, supervisão das análises e interpretação dos dados à luz do modelo big-five e preparação dos feedbacks e seus protótipos para a plataformaeletrônica. Irá contribuir ainda na proposta e redação de artigos científicos e na organização e submissão de trabalhos para eventos científicos. Dr. Oliver John (University of California at Berkeley). Participará como pesquisador associado. Irá colaborar nas atividades mais amplas de discussão do desenho e método do projeto, supervisão das análises e interpretação dos dados a luz do modelo big-five e preparação dos feedbacks e seus protótipos na plataforma eletrônica. Irá contribuir ainda na proposta e redação de artigos científicos e na organização e submissão de trabalhos para eventos científicos.

PROJETO ARQUIVADO.