W projektowaniu ewaluacji kluczowym zadaniem jest nazwanie tego, co ma być badane. Jest to trudne, dlatego przedmiot badań określa się ogólnie jako indicatum (to co jest wskazywane). Przykładowo Poziom inteligencji definiuje się jako to, co daje się mierzyć Skalą IQ. W Ewaluacji splotowej konieczne jest ścisłe zdefiniowanie pojęć wytyczających sferę badań. Owa sfera jest strukturą wzajemnie powiązanych elementów, współtworzących indicatum. Elementy te dotyczą zjawisk, stanów i cech, które zamierza się poddać wartościowaniu. Scalenie wszystkich komponentów uzyskanych w pomiarze wartości daje zmienną ogólną.
Ekstrakcja indicatum
W konceptualizacji badań efektów kształcenia najkorzystniej jest zastosować kategorie i taksonomie psychopedagogiczne. W tej dziedzinie najczęściej pojawia się podział na sferę kognitywną (poznawczą) i afektywną (doznaniową).
Indeksacja jako wybór najważniejszych komponentów
Zmienne splotowe – Czynniki
W Ewaluacji splotowej nie wystarcza oszacowanie samego wyniku ogólnego. Potrzebna jest analiza uwarunkowań wpływających na efekty. Bierze się pod uwagę czynniki korzystne i niekorzystne, z uwzględnieniem nieliniowych zjawisk empirycznych (np. wahania emocji i motywacji po osiągnięciu celu, spadki fascynacji po głębszym poznaniu). Efekty silnie zależą od osobistych cech osób badanych i od jakości oddziaływań, dlatego na poziomie Czynników mierzy się zarówno dyspozycje podmiotów kształcenia, jak też postawy wobec treści i metod kształcenia. Czynniki są kategoriami grupującymi indeksy w ogólniejsze pojęcia (np. cechy mentalne i wolicjonalne).
Indeksacja czynników
W ewaluacji procesów edukacyjnych duże znaczenie ma analiza zmian poziomów i wzajemnych relacji takich kategorii, jak: Opinie i Poglądy, Emocje i Motywacje, Zdolność i Rozwaga. O trafności pomiaru świadczą tendencje zgodne z teorią.
Zmienne cząstkowe – Składniki
Kolejnym etapem rozwarstwienia zmiennej ogólnej jest zdefiniowanie Składników. Są to kluczowe dla badań komponenty, służące do analiz szczegółowych. Każdy Składnik próbkowany jest przez połączenie pary Wskaźników kontrolnych. Dzięki temu możliwa jest weryfikacja spójności wypowiedzi respondentów. O ile Czynniki są kategoriami grupującymi, o tyle Składniki są zmiennymi szczegółowymi, dotyczącymi w miarę kompletnego zbioru ważnych wycinków indicatum, tj.: badanych cech, stanów, zjawisk, oddziaływań, reakcji itp.
Indeksacja składników
W doborze Składników warto ująć zwłaszcza takie zmienne, jak: nastawienie, ambicje, intencje, aspiracje, aktywność, komunikatywność, trafność osądów, refleksyjność, samoocena, ale i ocena kursu, akceptacja treści, bezstresowość itp.
Zmienne elementarne – Wskaźniki
Podstawowymi elementami w budowie Skal są Wskaźniki. Każdy ze Wskaźników jest próbkowany pojedynczą pozycją w kwestionariuszu. Pozycje te składają się z bodźców-stwierdzeń i z opcji wyboru wypowiedzi. Sens merytoryczny wynika wprost z treści, jaką podczas pomiarów odczytuje respondent, dlatego sformułowania muszą być jasne, jednoznacznie rozumiane. Wskaźnikom nie nadaje się nazw własnych, ani nie definiuje jako pojęć abstrakcyjnych. Natomiast na potrzeby analiz statystycznych przypisuje się im wartości liczbowe (wagi).
Indeksacja wskaźników
W doborze optymalnych wskaźników kluczowa jest ich konkluzyjność, tj. przydatność do formułowania istotnych wniosków na podstawie swoistego kompromisu między wymaganą zgodnością a niezbędnym zróżnicowaniem wypowiedzi respondentów.
Operacjonalizacja jako nadawanie sensu empirycznego
Bodźce–stwierdzenia
Przejście z pojęć na poziom empiryczny wymaga zbudowania Skali pomiarowej. W tym modelu zamiast pytań stosujemy stwierdzenia wyrażające mikrotezy badawcze. Tezy muszą być jednoznacznie zrozumiałe i emocjonalnie nieobojętne. Część tez jest celowo "fałszywa", aby ograniczyć automatyzm wypowiedzi, lecz nie wolno używać zdań przeczących z partykułą nie. Oto przykład tezy buforowej, jaką dla porównań warto użyć w Skalach służących ewaluacji edukacji: – Zawsze wyrażam gotowość uczenia się trudnych rzeczy.
Pośrednie próbniki cech
Próbkowanie stanów umysłu wymaga tez sformułowanych adekwatnie do mierzonej cechy. Jednak w tezie nie powinno występować słowo będące ową cechą, np. w badaniu Motywacji błędem jest użycie formuły – Mam motywację do...
Reakcje–wypowiedzi
Respondenci reagują na stwierdzenia zawarte w Skali i ustosunkowują się do tez. Akceptacja lub negacja stwierdzeń jest podstawą wartościowania wskaźników i wnioskowania o polaryzacji opinii. W standaryzowanych kwestionariuszach wypowiedzi są zunifikowane, ograniczone do wyboru opcji. Kolejne opcje wyznaczają narastającą wartość – od zaprzeczenia do zatwierdzenia tezy. W Skali dwuważonych ocen zalecam stosowanie siedmiostopniowej kafeterii, np.: absolutnie nie nie raczej nie brak zdania raczej tak tak absolutnie tak
Pośrednie wskaźniki cech
Wybory opcji przez respondentów wskazują pośrednio, na jakich poziomach znajdują się wewnętrzne cechy i stany umysłu. Po przypisaniu wybranym opcjom wag liczbowych (np. od -3 do +3) otrzymujemy dane, które przetwarza się statystycznie.