У даній роботі зроблена спроба по-новому відповісти на принципово важливі питання теорії педагогічних вимірювань: що, власне, і яким чином вимірюється? Пошук відповідей на ці питання йде з позицій теорії інформації. Розвиток інформаційного підходу до вирішення завдань педагогічних вимірювань дозволило запропонувати алгоритм конструювання приватних моделей педагогічних вимірювань і розширити можливості аналізу їх властивостей. В останній частині роботи обговорюється інформаційний метод проведення вимірювання.

Анотація наукової статті з комп'ютерних та інформаційних наук, автор наукової роботи - Каргін Юрій


Область наук:
  • Комп'ютер та інформатика
  • Рік видавництва діє до: 2014
    Журнал
    педагогічні вимірювання
    Наукова стаття на тему 'КОНСТРУЮВАННЯ МОДЕЛІ ПЕДАГОГІЧНОЇ ТЕСТА'

    Текст наукової роботи на тему «КОНСТРУЮВАННЯ МОДЕЛІ ПЕДАГОГІЧНОЇ ТЕСТА»

    ?Методологія

    КОНСТРУЮВАННЯ МОДЕЛІ ПЕДАГОГІЧНОЇ ТЕСТУ НА ОСНОВІ ІНФОРМАЦІЙНОГО ПІДХОДУ

    -1-

    Каргін Ю. Дослідження взаємозв'язку теорії інформації і теорії педагогічних вимірювань. ПІ.

    №2. 2013. С. 3-22.

    Юрій Каргін

    Листопадовий коледж професійних та інформаційних технологій

    Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її.

    У даній роботі зроблена спроба по-новому відповісти на принципово важливі питання теорії педагогічних вимірювань: що, власне, і яким чином вимірюється? Пошук відповідей на ці питання йде з позицій теорії інформації.

    Розвиток інформаційного підходу до вирішення завдань педагогічних вимірювань дозволило запропонувати алгоритм конструювання приватних моделей педагогічних вимірювань і розширити можливості аналізу їх властивостей.

    В останній частині роботи обговорюється інформаційний метод проведення вимірювання.

    Ключові слова: модель педагогічних вимірювань, модель Раша, кількість інформації, формула Шеннона.

    Вступ

    Раніше1 була висловлена ​​ідея існування взаємозв'язку між теорією інформації та теорією педагогічних вимірювань. Виявлення зв'язку з цим дозволило по-новому:

    • описати змістовний сенс основних показників якості педагогічних вимірювань через інформаційні характеристики;

    • висловити традиційні одиниці вимірюваних величин - логіт - через заходи інформації біт;

    • розглянути питання про класи моделей педагогічних вимірювань і способи їх конструювання;

    • по-новому поглянути на питання ефективності педагогічного тесту і способи її оцінювання.

    У даній роботі висловлена ​​ідея і її наслідки знаходять свій подальший розвиток.

    проблеми МТІ

    Математична теорія педагогічних вимірювань (МІТ) починається з досить очевидного висловлювання - випробуваний з кращою підготовкою до змісту тестового завдання має більше шансів на успіх, ніж випробуваний з гіршого підготовкою. Це висловлювання можна привести і в більш суворої формі, через поняття ймовірності. Імовірність правильної відповіді на тестове завдання випробуваним з кращою підготовкою більше, ніж випробуваного з гіршого підготовкою.

    Подальша побудова МТІ проходить через пошук,

    вибір і обгрунтування строгих математичних правил, що реалізують цей вислів, правил обчислення ймовірності правильної відповіді на тестове завдання, в залежності від підготовленості випробуваного і труднощі тестового завдання. Цей етап розвитку МТІ завершується формулюванням моделей педагогічних вимірювань, аналізом їх властивостей, за якими потім і розробляються технології педагогічного тестування.

    Слід зазначити, що на деяких етапах побудови МТІ проявляються слабкі місця і недостатньо переконливі судження. Зокрема, перехід від вихідного висловлювання про монотонному зростанні ймовірності правильної відповіді з ростом підготовленості випробуваного до побудови тієї чи іншої математичної моделі, строго кажучи, не обґрунтований. Зазвичай це обгрунтування представлено кілька розмитими міркуваннями про необхідному вигляді функції, про її властивості, включаючи асимптотичну поведінку. Іноді математичний вид функції обґрунтовується підбором під емпіричні дані або навіть просто подається як вдала здогад Г. Раша.

    Іншим «слабким місцем» МТІ є відсутність виразної відповіді на питання, що,

    нп

    виміру

    власне, ми вимірюємо, «накладав» ту чи іншу модель на спостережувані дані педагогічного тестування? Як зрозуміти зв'язок між підготовленістю випробуваного до тестового завдання і значеннями вимірюваних показників? Тим більше, коли шкала вимірювання знань в логи-тах нерівномірна і, взагалі кажучи, залежить від підготовленості випробовуваних і труднощі тестових завдань. І зрозуміти цей зв'язок не так просто. але необхідно.

    Можливо, і в цих труднощах, в тому числі, криються перешкоди більш широкого поширення МТІ. Звідси виникає недовіра до результатів педагогічних вимірювання методами МТІ або ігнорування їх відмітних якостей. А іноді і примітивне тлумачення результатів МТІ як більш складної форми ранжирування випробовуваних.

    Таким чином, можна виділити дві взаємопов'язані проблеми МТІ - переконливе обгрунтування моделі педагогічних вимірювань і виразна інтерпретація її параметрів. Нове розуміння і тлумачення цих проблем в цій статті пропонуються через застосування основних ідей і положень теорії інформації до педагогічних вимірювань.

    Приватна і середня ентропія

    До числа вихідних і основних понять теорії інформації відносять поняття ентропії як заходи невизначеності системи і поняття інформації повідомлення як заходи знятої цим повідомленням невизначеності. Іноді цю логічний зв'язок представляють інакше: якщо деякий повідомлення призводить до зменшення невизначеності системи, то таке повідомлення несе інформацію про пізнаваною системі в кількості зменшення невизначеності. Як одиничної заходи невизначеності (ентропії) обрана невизначеність системи, що знаходиться в одному з двох рівноймовірно станів. Ентропія такої системи дорівнює 1 біт (bit, binary unit - двійкова одиниця).

    Вважаючи, що не кожен читач знайомий з поняттями теорії інформації та основними правилами розрахунку кількості інформації, розглянемо їх на невеликому модельному прикладі.

    приклад

    У школі стало відомо, що один з учнів 10 «А» класу переміг в престижному міжнародному шаховому турнірі. Але хто цей учень, поки невідомо, і перед педагогами школи стоїть завдання визна-

    лити ім'я переможця. Розглянемо можливості правильного вирішення цього завдання різними педагогами.

    Спочатку розглянемо, як директор школи намагається визначити ім'я переможця. Директор не готовий точно відповісти на це питання, йому відомо тільки те, що в 10 «А» класі 16 учнів. Для нього учні класу невиразні, будь-який учень цього класу міг стати переможцем шахового турніру. Тоді невизначеність розглянутої системи можна охарактеризувати кількістю одно-можливих варіантів - 6.

    Завуч більше обізнаний про клас, йому відомо, що в цьому класі тільки вісім юнаків. Так як один з восьми юнаків міг стати переможцем турніру, невизначеність системи доходить до восьми можливих варіантів.

    Помічник з виховної роботи за анкетними даними визначив, що в цьому класі тільки четверо юнаків систематично займаються спортом, але інформації про види спорту у нього немає. Невизначеність системи для помічника по виховній роботі зменшилася до чотирьох.

    Класний керівник ближче знайомий з захопленнями своїх учнів і знає, що тільки два учня класу займаються шахами, і тільки

    хтось із них міг стати переможцем шахового турніру. Невизначеність системи доходить до двох.

    І, нарешті, керівник шахового гуртка краще за всіх підготовлений до відповіді на це питання. Він не просто знає цих двох учнів як шахістів, але і має вагомі підстави вважати, що шанси на перемогу першого з них приблизно в три рази вище другого.

    Таким чином, єдине для всіх педагогів завдання сприймається педагогами по-різному. Кожен з них має свої знання, які і допомагають правильно вирішити поставлене завдання. Невизначеність систем «окремий педагог - завдання визначити переможця» різна, звідси і відмінності в шансах правильно «вирахувати» переможця турніру.

    Подальші обговорення інформаційних властивостей розглянутих систем зручно супроводжувати заповненням таблиці (табл. 1). Перші два стовпці таблиці заповнюються за наведеними вище міркувань.

    Приклад підібраний так, що невизначеності розглядаються систем не просто різні, а ще й для перших систем ці відмінності однакові - кількість можливих варіантів N в кожній наступній системі в 2 рази менше. Дійсно, аналізуючи другий

    нп

    виміру

    Таблиця 1

    Інформаційні характеристики систем «педагог-завдання»

    Педагог ^ личество варіантів N Імовірність вибору Р Ентропії

    біт До біт V До біт H, біт

    директор 16 1/16 4 0,093 3,907 0,339

    завуч 8 1/8 3 0,193 2,807 0,544

    пом. по сприймали. раб. 4 1/4 2 0,415 1,585 0,811

    Класна. руковод. 2 1/2 1 1 0 1

    руковод. гуртка - 3/4 0,415 2 -1,585 0,811

    стовпець таблиці, нескладно виділити відносини - 16: 8 = 8: 4 = 4: 2 = 2. Це факт мовою інформаційного підходу можна сформулювати так - невизначеність кожної наступної системи на 1 біт менше попередньої.

    Ми не заповнили останній елемент таблиці другого шпальти з кількістю можливих варіантів для керівника шахового гуртка. В даному прикладі цей захід втрачає сенс. Однак, подальші міркування справедливі і для цього рядка. Продовжуючи інформаційний аналіз розглянутих систем, запишемо вираження для основних величин теорії інформації - для приватної і середньої ентропії.

    Загальна вираз для обчислення приватної ентропії деякого одиничного стану було запропоновано Хартлі: h = logo P =, де Р - ве-

    роятность спостережуваного стану системи. Розрахуємо

    за цією формулою ентропію стану «перший учень - переможець» з позиції керівника гуртка. На його думку, ймовірність виграти турнір у першого учня вище другого в три рази, тобто дорівнює 3/4 (проти! / 4 другого учня), тоді ентропія цього стану дорівнює к = 1о80,50,75 = 0,415 .

    У більш простому, окремому випадку, коли невизначеність системи задається N рівнозначними варіантами і ймовірність кожного з таких стану дорівнює Р = 1 / N, формула Хартлі приймає вид:

    1

    к = 1о§0>5 N = N.

    Саме за цими формулами розраховані ймовірності правильного рішення задачі педагогами і відповідні значення приватної ентропії к1 (третій і четвертий стовпчики табл. 1).

    Змістовний сенс значення приватної ентропії

    можна передати як «міра несподіванки» події. Чим менша ймовірність події, тим більше значення приватної ентропії і тим більш несподівана його появу. Таке роз'яснення стає більш наочним, якщо додатково розрахувати приватні ентропії станів «переможець турніру визначено неправильно» (п'ятий стовпчик таблиці). У шостому стовпці наведені різниці приватних ентропій, що відображають, наскільки «несподівана» правильний вибір переможця в порівнянні з помилкою.

    Якщо показник приватної ентропії відображає невизначеність окремого стану системи, то середня ентропія (або просто ентропія) відображає невизначеність всієї системи і розраховується як середнє значення приватних ент-ропій всіх її станів. Для розрахунку цього показника слід застосовувати формулу Шеннона:

    Н =? Р {• 1С8о, 5 Р {=

    I

    = Х Рг | 1082 Р.

    !

    Коли система може перебувати тільки в одному з двох можливих станів з ймовірністю успішного результату р, то формула Шеннона має вигляд: Н (Р) = Р ^ 0 5К + + (1 - Р) -1о8о, 5 (1 - Р). В останньому стовпці табл. 1 наведені середні значення Ентре-

    пий системи Н для педагогів школи.

    В даному прикладі ми починали розглядати поняття ентропії через розуміння невизначеності системи за кількістю рівно можливих варіантів вибору і навіть змоделювали системи з різними заходами невизначеності і розрахували ці заходи. Таким деталізованим розглядом завдання ми намагалися лише розгорнуте зміст термінів «невизначеність», «приватна і середня ентропія», «інформація». Насправді, розглядаючи питання підготовки навчальних завдань і аналізу відповідей на них учнів, можливості в такий деталізації навряд чи буде досить. Строгий теоретичний розрахунок ентропій та інших інформаційних показників можливий лише для «зрозумілих» систем, для систем з заданими імовірностями станів. Система «випробуваний - тест» до таких не належить. Однак застосовувати положення теорії інформації можна і без такої деталізації.

    Інформаційний підхід до питань педагогічних вимірювань, як і інші напрямки МТІ, спирається не на теоретичний розрахунок, а на експериментальну оцінку ймовірності правильної відповіді випробуваним. Але на відміну від інших напрямків МТІ, в основі інформаційного під-

    нп

    виміру

    ходу лежать і аналізуються нові, саме інформаційні показники.

    Таким чином, тестові випробування як інструмент проведення педагогічних вимірювань, можна розглядати і з позицій теорії інформації. В цьому випадку під «системою з кількісно оцінюється невизначеністю» (ентропією) слід розуміти випробуваного, що виконує тестове завдання, а під повідомленням, що несе інформацію, слід розуміти результат тестового випробування. Тоді кількість невизначеності, знятої повідомленням, і є те кількість інформації, що надходить педагогу для аналізу результату тестування.

    Інформаційні показники МТІ

    На деякий час відвернемося від відомих в МТІ показників труднощі тестових завдань і підготовленості випробовуваних і спробуємо запропонувати свої варіанти вирішення цього завдання, але вже на основі інформаційних показників.

    Перше припущення лежить на поверхні. Розглянемо варіант опису невизначеності системи «випробуваний - тестове завдання» безпосередньо показником приватної ентропії стану з ве-

    роятность Р правильної відповіді: h = log0 5P. У розглянутому прикладі значення цього показника наведені в четвертому стовпці табл. 1.

    Наведемо основні властивості цього показника:

    • при значеннях ймовірності 0 < P < 1 значення приватної ентропії h змінюються в інтервалі від 0 до го;

    • зі зростанням ймовірності появи стану приватна ентропія цього стану монотонно убуває;

    • h (1) = 0 - приватна ентропія (невизначеність) достовірного стану дорівнює нулю, h (0) = го - приватна ентропія неможливого стану дорівнює нескінченності, h (0,5) = 1 біт - приватна ентропія равновероятного дихотомічного стану дорівнює одиниці. Такий стан називають станом одиничної невизначеності;

    • властивість адитивності h (P1'P2) = h (P1) + h (P2) для незалежних подій.

    Якщо формулу Хартлі переписати у вигляді:

    Р = 0,5h = 0,5 -...- 0,5,

    * _V_ '

    hpae

    то стан зі значенням приватної ентропії h еквівалентно h-раз спільному станом одиничної невизначеності. Таким чином, значення показника приватної ентропії h показує, у скільки разів невизначеність даного стану системи відрізняється

    від стану системи одиничної невизначеності.

    Наведені властивості і інтерпретація значень показника приватної ентропії дозволяють ввести пару основних показників педагогічних вимірювань в, в і зв'язати їх з інформаційним показником ставленням до = в / в. Тоді з формули Хартлі слід модель педагогічних вимірювань Р = 0,5, де в - відносний показник труднощі тестового завдання, в - відносний показник підготовленості випробуваного.

    Проведемо трактування результатів розглянутого вище прикладу з позицій цієї моделі. Власне складність завдання визначення переможця для всіх педагогів однакова. Для спрощення міркувань покладемо в = 1. Тоді відносний показник підготовленості педагогів в обернено пропорційний значенню приватної ентропії в = ​​1 / к. Звідси, зокрема, робимо висновок: класний керівник має одиничний рівень підготовленості (рівний рівню складності завдання) до відповіді на поставлене запитання. Для директора школи в = 1/4, тобто він в чотири рази гірше класного керівника підготовлений до відповіді на це питання, а керівник гуртка - в 1 / о 415 ~ 2,4 рази краще підготовлений до відповіді на це питання. такі інтер-

    претаціі підготовленості педагогів не тільки якісно вірно відображають розглянуту в прикладі ситуацію, а й кількісно вивірені на основі теорії педагогічних вимірювань.

    У наших работах2,3 модель

    П А С в / в

    Р = 0,5 представлена ​​як альтернативна, де досить докладно наведені властивості моделі, властивості і інтерпретація показників моделі. Тут відзначимо лише те, що за цією моделлю вимірювання проводяться в шкалі відносин (пропорцій).

    Якщо звернутися до даних табл. 1, то нескладно помітити, що не тільки значення приватної ентропії відображає відмінності систем з педагогами при вирішенні поставленого завдання, а й різницю приватних ентропій станів «правильний і неправильний вибір переможця» Ак = к1 - до відображає ці відмінності. Наприклад, для директора ця різниця має значення приблизно 3,9 біт (на стільки біт більш несподівана правильний вибір, ніж помилка), для завуча близько 2,8 біт, а для класного керівника невизначеності станів «правильний і неправильний вибір» взагалі однакові, і різниця приватних ентропій дорівнює нулю. За характером поведінки різниці приватних ентропій Ак нескладно помітити, що чим гірше підготовлений педагог до правильного

    Каргін Ю.

    Побудова альтернативної моделі педагогічних вимірювань за системою Г. Раша. ПІ. №4. 2010. С. 62-71.

    Каргін Ю.

    Педагогічні вимірювання в шкалі відносин. ПІ. №2. 2012. С. 3-26.

    нп

    виміру

    виконання завдання, тим вона більше. Звідси можна запропонувати наступну зв'язок показників підготовленості Ь і складності завдання й з інформаційної різницею: й - Ь = 1п2-Ак.

    Коефіцієнт пропорційності 1п2 введений для приведення цих показників до стандартного для системи Ра-ша увазі. Якщо в це рівність підставити вирази для приватних ентропій, то після елементарних перетворень отримаємо добре відому модель Раша для педагогічних

    вимір ™: ехр (Ь - й))

    1 + ехр (Ь - й) '

    Таким чином, різниця показників підготовленості випробуваного і труднощі тестового завдання в вимірювальній системі Раша можна трактувати як різниця (з точністю до постійного множника 1п2) приватних ентропій стану «правильне і неправильне рішення завдань». Ця різниця, традиційно вимірюється в ло-гітах, приймає інформаційну міру вимірювання біт, з відповідною інформаційною інтерпретацією значень показників підготовленості Ь і труднощі й.

    Ми запропонували два варіанти опису системи «випробуваний-завдання» на основі інформаційного підходу.

    Кожен з них дав свою вихідну модель педагогічних вимірювань - альтернативну і Раша. Не виключається можливість запропонувати і інші варіанти. Наприклад, засновані на приватній ентропії стану «неправильне рішення задачі» або інші комбінації інформаційних показників. Пошук і обговорення інших варіантів моделей лежать за рамками даної роботи.

    На завершення підрозділу зупинимося на формулі Шеннона для розрахунку середнього значення ентропії системи за всіма її можливим станам і її місці в педагогічних вимірюваннях. Змістовний сенс значення середньої ентропії полягає в отриманні середньої кількості інформації в повідомленні про результат відповіді на завдання. У розглянутому прикладі значення цього показника наведені в останньому стовпчику табл. 1.

    Наведемо основні властивості цього показника:

    • при значеннях 0 < Р < 1 функція Н (Р) = Р ^ 05Р + + (1 - P) • log0,5 (1 - Р) симетрична щодо нейтрального значення ймовірності Р = 0,5;

    • при Р = 0,5 ентропія приймає максимальне значення Н (0,5) = 1, на кордонах звертається в нуль - Н (0) = Н (1) = 0;

    • властивість адитивності до (Р1'Р2) = до (Р1) + до (Р2) для незалежних подій.

    За своїми властивостями і змістовному змістом ця функція з успіхом замінює інформаційну функцію I = P (1 - P) системи вимірювань Раша. Якщо врахувати, що величина ентропії має фундаментальний сенс і широко прийняті одиниці виміру біт, то її застосування більш переважно.

    Таким чином, на основі інформаційного підходу досить легко і природно вдається побудувати вихідні моделі педагогічних вимірювань і висловити основні показники таких вимірювань через інформаційні показники з одиницею виміру біт.

    Конструювання приватних моделей педагогічних вимірювань

    У попередньому підрозділі ми вивели на основі інформаційного підходу дві вихідні моделі педагогічних вимірювань - модель Раша і альтернативну модель. Під терміном «вихідна» ми розуміємо одне-параметричну дихотомічне модель, в якій єдиний параметр являє собою різницю g = Ь - d (адитивна модель) або відношення 7 = в / в (мультиплікативна модель) вимірюваних показників підготовленості допитливим-

    емого і труднощі тестового завдання. Таким чином, вихідні моделі мають вигляд:

    P = |

    ехр (g)

    модель Раша;

    1 + ехр (g)

    P = 0,51 / ^ - альтернативна модель.

    За цим моделям найбільш інформативні стану з граничними значеннями параметрів відповідно g = 0 і 7 = 1, при яких ймовірності правильних і неправильних відповідей збігаються і дорівнюють Р = 0,5, а середнє значення ентропії приймає максимальне значення Hmax = 1 біт = 1п2 нат.

    Для ілюстрації основних положень теорії педагогічних вимірювань зазвичай наводяться графіки залежності ймовірності можна побачити подій від показника підготовленості випробуваного при заданому рівні труднощі тестового завдання. Для вихідних моделей графічні образи тестових завдань представлені на рис. 1а і 1б. На цих малюнках і далі на графік ймовірностей Р накладено графік значень ентропії

    H = -? Р {• 1п Р,

    в залежності

    від рівня підготовленості випробуваного мають одиницю вимірювання нат (1 біт «0,693 нат). Графік ентропії Н показує інформативні свойст-

    виміру

    ва тестового завдання - чим вище графік, тим інформатівней завдання для даного випробуваного.

    На рис. 1а наведені графіки залежності ймовірності неправильного відповіді Р0 і

    правильної відповіді Р ^ на тестове завдання нейтрального рівня труднощі й = 0 і значення ентропії Н, в залежності від рівня підготовленості випробуваного Ь. Точка перетину графіків ймовірності

    Мал. 1а. Графіки ймовірності Р відповідей на завдання з нейтральним рівнем труднощі ^ = 0) в системі Раша і середньої ентропії Н

    0 ОД 0.4 0: б 0: 3 1

    ^ -Під -Й-Р1 Н

    Мал. 1б. Графіки ймовірності Р відповідей на завдання c одиничним рівнем труднощі (в = 1) в альтернативній системі і середньої

    ентропії Н

    Р0 = Р1 = 0,5 відповідає абсциссе з рівнем підготовленості випробуваного, рівним рівнем складності тестового завдання Ь = й = 0.

    Для альтернативної моделі подібні графіки зручно приводити в залежності не від відносного показника підготовленості і, а від його ймовірного еквівалента - імовірнісного показника і = 0,5. Тоді вихідна модель має вигляд Р = верб і графіки ймовірності неправильного відповіді Р0 і правильної відповіді Р1 на тестове завдання одиничного рівня складності і ентропії Н представлені на рис. 1б.

    Якщо прийняти запропонований в работе1 критерій ефективності тестового завдання

    Н

    1

    Н

    21п2

    = 0,72,

    то можна зробити твердження:

    • нейтральне завдання ефективно для випробовуваних з рівнем підготовленості з діапазону -1,4< Ь <1,4 з шириною АЬ = 2,8 логит;

    • одиничне завдання ефективно для випробовуваних з імовірнісним показником рівня підготовленості 0,2< і <0,8 з шириною діапазону Аі = 0,6 (або з відносним показником з діапазону 0,43 < в< 3,1).

    Добре відомою модифікацією вихідних моделей є двухпараметрічес-кі дихотомічні моделі

    педагогічних вимірювань. Введення додаткового параметра а дозволяє враховувати диференційні властивості показників моделі. У аддитивную модель Ра-ша цей параметр входить в якості множника, в мультипликативную альтернативну модель в якості показника ступеня до основного параметру моделі:

    ехр (а • g) Р = - модель Бірн-

    1 + ехр (а • g)

    Баума; Р = 0,51 / г ° - двухпараме-тричних альтернативна модель.

    Введення в модель дифференцирующего параметра призводить до наступних деформацій образів тестових завдань, в залежності від значення параметра (рис. 2а і 2б).

    Введення дифференцирующего показника а відбивається на діапазоні ефективності тестових завдань в такий спосіб - збільшення значення дифференцирующего показника зменшує діапазон ефективності тестових завдань.

    В системі Раша ширина діапазону обернено пропорційний значенню дифференцирующего показника; можна приблизно записати АЬ «2,8 / а. Зокрема, при а = 2 маємо діапазон ефективності тестових завдань -0,7 < Ь < 0,7, а при а = 0,5 маємо -2,8 < Ь < 2,8.

    Мал. 2а. Графіки ймовірності Р правильних відповідей на завдання з нейтральним рівнем труднощі, значеннями параметра а = 2 і а = 0,5 в системі Раша і середньої ентропії Н

    0 0.2 0,4 0.6 0.8 1

    Р (2) -О-Р (0: 5> -на) - щ0: 5)

    Мал. 2б. Графіки ймовірності Р правильних відповідей на завдання з одиничним рівнем труднощі, значеннями параметра а = 2 і а = 0,5 в альтернативної моделі і середньої ентропії Н

    Для альтернативної моделі при значенні а = 2 маємо діапазон ефективності тестових завдань 0,35 < u < 0,68, а при а = 0,5 маємо 0,02 < u < 0,93 .

    Іншим напрямком модифікації моделі є перехід від дихотомічного до політоміческім типам, що допускають варіативність відповіді на тестове завдання. відомим

    прикладом політоміческоі моделі класу Раша є модель PCM (Partial Credit Model). Аналогічні розширення допустимі і для класу альтернативних моделей.

    Отримаємо алгоритм побудови етоі моделі на основі інформаційного підходу.

    Припустимо, тестове завдання містить n градації відповіді, тоді система «випробуваний-завдання» може знаходитися в n +1 станах (включаючи нульовий стан n = 0) з вірогідністю Р 0, Pi, •••, Pk, Pk + 1, • Pn. Перехід системи з одного стану в інший Pk ^ Pk + i супроводжується зміною невизначеності станів, з різницею приватних ентропії Ahk = lnPk + i / Pk, значення якої визначається тільки пороговим параметром gk + 1, що відокремлює ці стани. Тобто відношення ймовірностей послідовних станів є функція тільки від параметра

    g Pk + 1 / Pk = f (gk + 1).

    Для початкових станів останнє співвідношення, що задає відношення ймовірності правильної відповіді до ймовірності помилки, можна записати для двох вихідних моделей у вигляді: P1 / P0 = exp (g1) і P1 / P0 = 0,51 / r1 / (1 -0,51 / r1). Звідси нескладно висловити ймовірність першого стану через ймовірність нульового стану P1 = P0exp (g1) і P1 = Р0 • 0,51 / r1 / (1 -0,51 / r1) або

    ймовірності подальшого стану через попереднє

    Рк + \ = Рк ехр (gk + 1) і рк + 1 = Рк | | 0,51 / п + 1 / (1 - 0,51 / г1).

    Таким чином, ймовірність будь-якого подальшого стану можна виразити через вірогідність Ро нульового стану. Дописування до цих співвідношенням умови нормування Р0 + Р1 + ... + Рп = 1 дозволяє однозначно записати вирази для ймовірностей можливих подій. Приклади конструювання приватних по-літоміческіх моделей розглянемо в наступному підрозділі.

    Можливі й складові схеми тестових завдань. У цьому випадку саме завдання можна розглядати як сукупність безпосередньо незалежних підзавдань зі своїми варіантами відповідей і системою оцінювання. Такі складові завдання краще розбивати на окремі. Окремі завдання зручніше і виконувати, і оцінювати, але в укладачів завдань на цей рахунок може бути і своя точка зору. Приклади таких завдань можна побачити в задачах типу С матеріалів ЄДІ, олімпіадних задачах.

    Припустимо, завдання містить п незалежних дихотомічних підзавдань, з вірогідністю правильної відповіді на кожне з них Р1, Р2, ..., Рп. Для розрахунку ймовірності правильної відповіді на окреме підземних-ня можна використовувати лю-

    ^^ то ^ оллоггіяя

    виміру

    буя з вихідних моделей. Тоді існує п2 різних варіантів відповіді, починаючи від стану «все підзавдання виконані неправильно» зі спільною ймовірністю (1 - Р1) (1 - Р2>..,(1 - Рп), «тільки перше підзавдання виконано правильно» з ймовірністю Р1- (1 - Р2>...-(1 - Рп) і завершуючи правильним рішенням всіх підзавдань зі спільною ймовірністю Р1 | Р2 -...- Рп. Приклади конструювання складових завдань розглянемо нижче.

    приклад

    конструювання лінійної політоміческой моделі

    Лінійна політоміческая модель передбачає суворе логічно послідовне розташування всіх варіантів відповіді на тестове завдання. Наприклад, завдання з категоріями варіантів відповіді: 0 - зовсім не згоден; 1 - не згоден; 2 - згоден; 3 - повністю згоден. Або з категорія-

    не повна відповідь; 3 - абсолютно правильний і повну відповідь. Якщо ймовірності вибору випробуваним одного з чотирьох запропонованих варіантів відповіді позначити відповідно через Р0, Р1, Р2, то структуру такого завдання можна представити схемою:

    Р = _

    ми: 0 - вдосконалення- про 1 + ехр (gl)

    шенно неправильну відповідь; Р =

    Позначимо три порогових значення, що розмежовують суміжні категорії в інтервального шкалою логіт через? 1,? 2, йз, причому,? 1 < ?2 < ^ 3. Тоді для випробуваного з підготовленістю Ь і різницею gk = Ь - йк на основі рекурентного правила РШ = Рк ехр (gk + l) можна записати наступні співвідношення між вірогідністю появи одного з варіантів відповіді: Р1 = Р0 ехр (g1),

    Р2 = Р1 ехр (g 2) = Р 0 ехр (gl + g 2),

    Підставляючи ці співвідношення в умова нормування Р0 + Р1 + + Р2 + Р3 + = 1, знаходимо шукані вирази для ймовірностей (лінійна модель РСМ):

    1

    + Ехр (gl + g2) + ехр (gl + g2 + gз) 'ехр (gl)

    1 - відповідь содер- 1 + ехр (жит правильні

    елементи; 2 - Р2 =-

    правильний, але 1 + ехр (gl) + ехр (gl + g2) + ехр (gl + g2 + gз) '

    > + Ехр (gl + g2) + ехр (gl + g2 + gз) 'ехр (gl + g2)

    Р _ехр (а + ^ + gз) _ РСМ на основі

    Р3 = --- 5-2-. рекуррентного

    1 + ехр (+ ехр (yo1 + §2) + ехр (yo1 + + §з) СООТНОшнія Як іллюстра- Рк + 1 = Рк • 0,51 / П + 1 / (I -0,51 / п + 1 ) з ції наведемо графіки цих граничними показниками в функцій для порогових значень категорій складності завдання в інтервального шкалою логіт? 1 = -1,? 2 = 0,? 3 = 1 (рис. 3а).

    Аналогічні результати нескладно отримати і для лінійної альтернативної моделі

    пропорціональноі шкалою вимірювань 01< 02 < вз, рівнем підготовленості випробуваного в і ставленням% = в / 0 ^. Якщо ввести імовірнісний показник підготовленості випробуваного і = 0,51 / в, то ці вирази приймуть більш компактний вигляд:

    Р0 =

    Р =

    Р =

    (1 - ів) (1 - ів2) (1 - Ивз)

    01 +02 + вз

    (1 - і0) (1 - ів2) (1 - і0) + і0 (1 - ів2) 1 - і0) + і0 + В2 (1 - і0)

    і0 (1 - ів2) (1 - і0) (1 - ів1) (1 - ів2) (1 - ів3) + ів1 (1 - ів2) (- ів3) ів1 +0 (1 - ів3) + ів1 +0 + 0

    в + 0

    (1 - Ивз)

    (1 - ів) (1 - ів2) (1 - і0) - верб (1 - ів2) 1 - і0) - верб +0 (1 - і0)

    01 +02 + вз

    3 '2 0 14

    59

    виміру

    Рз =

    u

    в + в + вз

    (1 - ue) (l - ів) l - Ивз) + ue (l - ue) (l - ue) верб + e (l - ue) верб + в + e

    Графіки цих функцій для порогових значень складності завдання в пропорційній шкалою бітів в = 1 / е, в = 1, вз = е наведені на рис. 36.

    Точки перетину графіків ймовірності вибору того чи іншого варіанту відповіді відповідають абсциссе з рівнем підготовленості випробуваного рівним порогового значення рівня складності між відповідними категоріями. Наприклад, абсциса точки перетину графіків Р1 (і) і Р2 (і) дорівнює рівню підготовленості випробовуваних-

    го і = 0, 51 = 0, 5е «0, 15 2 відповідного граничного значення труднощі в1. Цей висновок нескладно отримати і аналітично з рішення рівняння Р ^ і) = Р2 (і).

    Звернемося до аналізу ефективності такого завдання. Для системи, яка може перебувати в одному з чотирьох станів, ентропія досягає максимально можливого значення Нтах = 1п4 нат «1,386 нат в точці рівності ймовірностей кожного з станів. Для тестових завдань з безліччю вибору цій умові удовле-

    Мал. 3б. Графіки ймовірності Р відповідей випробуваним на лінійне завдання з рівнями труднощі в = 1 / е, в = 1, в = е в альтернативній системі і середньої ентропії Н

    розчиняють стану з однаковими граничними значеннями рівними рівню підготовленості випробуваного, тобто коли все gk = 0,% = ​​1. Тоді умова

    ефективності

    Н

    Н

    ->-

    1

    21п2

    для тестового завдання з чотирма можливими станами перетворюється в нерівність Н > 1 нат.

    Застосовуючи цю умову, маємо області рівня підготовленості випробуваних, для яких завдання ефективно: -1,2 <?<1,2 з найбільшим значенням Ннаіб «1,28 <1,39 «Нтах в системі Раша; 0,22 < і < 0,79 з найбільшим значенням Ннаіб ~ 1,19 <1,39 «Ятах в альтернативній системі. Тобто інформативність лінійних полі-томіческого завдань з различающимися граничними значеннями рівнів труднощі дещо знижується.

    приклад

    конструювання розгалуженою політоміческой моделі

    Розгалужена політомічес-кая модель допускає існування паралельних (незалежних) траєкторій з варіантів відповіді. Наприклад, в завданні потрібно не тільки правильно відповісти на питання, а й

    обґрунтувати його одним з методів. Тоді результати виконання завдання можуть містити варіанти: 0 - відповідь неправильна; 1 - відповідь правильна; 2 або 3 - правильна відповідь обгрунтований тим чи іншим способом. Структуру такого завдання можна представити схемою:

    р<> р.

    Рз

    Позначимо три порогових значення, що розмежовують суміжні категорії в інтервального шкалою логіт через? 1,? 2,? 3. Тоді для випробуваного з підготовленістю Ь і різницею gk = Ь - на основі рекурентного правила Р ^ + 1 = Р&ехр (й + 1) можна записати наступні співвідношення між вірогідністю появи одного з варіантів відповіді: р = Р0ехр (^),

    = РехрИ = Р) ехр (Я1 + g2), Рз = ^ 1ехр (Яз) = Р ^ ехрС ?! + Gз). Підставляючи ці вирази в умова нормування Р1 = Р1 + + Р2 + Р3 + 1, знаходимо шукані вирази для ймовірностей (развётвлённая модель РСМ):

    Р0 =

    Р1 =

    Р2 =

    1

    1 + ехр (gi) + ехр (gi + g2) + ехр (gl + gз)

    _ехр (gl) _

    1 + ехр (gl) + ехр (gl + g2) + ехр (gl + gз) ,

    _ехр (gl + g2) _

    1 + ехр (gl) + ехр (gl + g2) + ехр (gl + gз) '

    виміру

    exp (g, + g3) ..

    P3 = - ^ - ленній альтерна-

    1 + exp (g1) + exp (g, + g2) + exp (g, + g3) тивной моделі

    В якості ілюстрації PCM з граничними показника-

    наведемо графіки цих функ- ми в пропорційній шкалою

    ций для порогових значень вимірів в \, в, вз, виражений-

    категорій складності завдання в ними через імовірнісний

    інтервального шкалою логіт рівень підготовленості ис-

    ?1 = -1,? 2 = 0,? З = 1 (рис. 4а). питуемого u = 0,51 / е, і на основі-

    Аналогічні результати не- ве рекурентного співвідношення

    складно отримати і для разветв- Pk + 1 = Pk • ue + 1 / (1 - ue + 1)

    P =

    P =

    P =

    P =

    (1 - ue) (1 - ue2) (1 - ue3)

    (1 - ue) (1 - ue2) (1 - ue3) + ue1 (1 - ue2) 1 - ue3) + ue1 + e (1 - ue3) + ue + в (1 - ue2)

    ue (1 - ue2) 1 - ue3)

    'Ue + в (1 - ue3)

    ue + в (1 - ue2)

    (1 - ue) (1 - ue2) 1 - ue3) + ue (1 - ue2) (1 - ue3) + ue + в (1 - ue3) + ue + в (1 - ue2).

    Мал. 4а. Графіки ймовірності Р відповідей випробуваним на розгалужене завдання з рівнями труднощі а (1 = -1, а ^ = 0, а3 = 1 в системі Раша і середньої ентропії Н

    Мал. 4б. Графіки ймовірності Р відповідей випробуваним на розгалужене завдання з рівнями труднощі в1 = 1 / e, В2 = 1, в = e в альтернативній системі і середньої ентропії Н

    Графіки цих функцій для порогових значень складності завдання в пропорційній шкалою бітів в = 1 / е, в = 1, вз = е наведені на рис. 4б.

    Області рівня підготовленості випробуваних, для яких завдання з розгалуженням ефективно визначається діапазонами: -1,4 < Ь <1,3, з найбільшим значенням Янаіб «1,28 < 1,39 «Ятах в системі Раша; 0,20 < і < 0,76 з найбільшим значенням

    Янаіб "1,28 < 1,39 «Нтах в альтернативній системі. Тобто інформативність розгалужених по-літоміческіх завдань з различающимися граничними значеннями рівнів труднощі дещо знижується.

    Розглянуті вихідні моделі ніяк не суперечать, а лише описують ис-

    які належать їм явища з різних позицій, в різних метричних шкалах. Підтвердженням цього можуть служити не тільки єдині якісні висновки і опорні кількісні значення рРаш (? = 0) = рАльт (у = 1) = 0,5, а й кількісні асимптотические оцінки.

    Додаткове підтвердження знаходиться в розглянутому прикладі. При дуже хорошій підготовці випробуваного з моделей слід єдиний, очевидний при заданих параметрах, висновок:

    РРРаш (й _ Р2Альт або і = 1)

    рРраш (й _ Р3Альт (в ^ з або і = 1)

    Якщо перший метод обгрунтування рішення задачі в е раз (або на 1 логіт) легше другого, то і ймовірність правильного

    ^^ оддолоогііяя

    = Е «2,718.

    3 '2 0 14

    63

    виміру

    відповіді на нього в е раз вище. В системі вимірювань Раша подібні результати аналізу не наводяться.

    приклад

    конструювання складовою моделі

    Конструювання складеного тестового завдання покажемо на прикладі завдання, що складається з двох відносно незалежних підзавдань. Наприклад, завдання: вибрати найбільш вірний опис властивостей руху тіла, що вільно падає на Землю зі стану спокою. Варіанти відповідей: прямолінійний рівномірний; прямолінійний прискорене; криволінійне рівномірний; криволінійне прискорене. На відміну від політоміческого таке завдання передбачає попереднє рішення двох незалежних завдань - визначити вид траєкторії і визначити характер руху тіла. Якщо ймовірності правильних відповідей на кожну із завдань позначити через Pi і Р2, то існує чотири варіанти відповіді з спільними можливостями

    Cоо = (1 - Pi) (1 - P2), C10 = Pi (1 - P2), C01 = (1 -

    - P1) P2, С11 = P1P2. Структуру такого завдання можна представити схемою:

    1-Pl Pl

    Сю

    с) 0 з 11

    1-Р2 Р2

    Позначимо два граничних значення розмежовують категорії «правильно - неправильно» для кожного з підземних-Сейчас в інтервального шкалою логіт через? 1, Тоді для випробуваного з підготовленістю Ь і різницею ^^^ = Ь - ^ можна записати наступні співвідношення для спільної ймовірності відповідей на підзавдання :

    Соо =

    1

    (1 + ехр (g1)) (1 + ехр (g2)) '

    _ехР (g2) _

    (1 + ехр ( &)) (1 + ехр (g 2)),

    _ехР (gl) _

    (1 + ехр (gl)) (l + ехр (g 2)),

    ехр (gl) exР (g2) (1 + ехр (+ ехр (g2)).

    Графіки цих функцій для порогових значень складності завдання в інтервального шкалою логіт? 1 = -1,? 2 = 1 наведені на рис. 5а.

    Аналогічні результати нескладно отримати і для складовою альтернативної моді-

    С01 =

    С10 =

    С11 =

    Мал. 5а. Графіки спільної ймовірності З відповідей випробуваним на складене завдання з рівнями труднощі d1 = -1, d2 = 1 в системі Раша і середньої ентропії Н

    Чи з граничними показниками двох підзавдань в пропорційній шкалою вимірювань в \, в вираженими через імовірнісний рівень підготовленості випробуваного і = 0,51 / 0:

    О) = (1 - ів) 1 - ів) С10 = верб (1 - ів) С) 1 = (1 - ів) Д

    С11 - верб і.

    Графіки цих функцій для порогових значень труднощі підзавдань в пропорційній шкалою бітів = 1 / е, В2 = е наведені на рис. 56.

    Області рівня підготовленості випробуваних, для яких складене завдання ефективно визначається діапазонами:

    -1,2 < Ь < 1,2 з найбільшим значенням Янаіб «1,16 < 1,39 «Ятах в системі Раша; 0,57 < і < 0,77 з найбільшим значенням Ннаіб «1,04 < 1,39 я Ятах в альтернативній системі. Тобто інформативність складових завдань з различающимися граничними значеннями рівнів труднощі помітно знижується.

    На завершення розглянутих прикладів наведемо одне зауваження щодо виражених відмінностей у властивостях моделей класу Раша і альтернативних моделей. Моделі класу Раша симетричні щодо нейтрального значення параметра g = 0. Це властивість відображено на відповідних малюнках з літерою «а» при симетричних рівнях труднощі тестових завдань. Альтернативна система

    Мал. 5б. Графіки спільної ймовірності З відповідей випробуваним на складене завдання з рівнями труднощі в = 1 / е, в = е в альтернативній системі і середньої ентропії Н

    подібної симетрією відносно нейтральної одиниці 7 = 1 (або і = 0,5) не володіє, що відображено і на малюнках з літерою «б». Ці відмінності закладені в початкових моделях, в тлумаченнях її показників, і протиріч тут немає. Вимірювальні шкали цих систем мають різні метриками.

    Інформаційний метод проведення вимірювань

    Інформаційний підхід можна поширити не тільки на педагогічні, а й на класичні фізичні вимірювання. Для прикладу розглянемо про-

    процес вимірювання лінійкою довжини невеликого бруска Ь. Спочатку звернемося до властивостей лінійки і властивостями результатів вимірювання лінійкою. Перше. Лінійка має метричну шкалу з мінімальним розподілом 1 мм, по якій, власне, і проводяться вимірювання. Якщо акуратно провести вимірювання, тобто рівно накласти лінійку на брусок і строго поєднати лівий край бруска з нульовою відміткою шкали лінійки, то становище правого краю бруска вказує його довжину в одиницях шкали лінійки. Приклад такого виміру показаний на малюнку 6, за яким можна зробити висновок, що довжина бруска більше 27 і менше 27,5 мм.

    Мал. 6. Вимірювання бруска

    Точніше провести вимір даної лінійкою не вдасться. Невизначеність вимірювання неминуча, вона закладена і в самому вимірювальний інструмент, і у властивостях бруска, і технології проведення вимірювання. У нашому прикладі невизначеність вимірювання лінійкою можна оцінити значенням 0,5 мм. Звідси друга властивість лінійки - притаманна їй невизначеність при проведенні вимірювань, кількісно виражена похибкою. Таким чином, результат фізичного виміру характеризується двома основними параметрами - значення вимірюваної величини і похибка цього виміру.

    Розглянемо вимірювання довжини бруска на основі інформаційної схеми. Під вимірюванням будемо розуміти процес отримання найбільшої кількості інформації від порівняння бруска з метричної лінійкою. Будемо вважати, що якщо дослідник приймає за довжину бруска значення 27 мм, то, на його думку, ймовірність події «довжина бруска менше 27 мм» дорівнює 0,5. Втім, як і того, що довжина бруска більш

    27 мм. Саме в цьому випадку рівності ймовірностей протилежних подій ентропія системи максимальна, саме в цьому випадку дослідник отримує найбільшу кількість інформації від вимірювання.

    Інший дослідник висловить інший результат вимірювання, наприклад 27,2 мм, і т.д. При проведенні масових вимірювань довжини бруска результати згрупуються в діапазоні від 25 до 25,5 мм. Якщо результати цих вимірювань висловити через показники двухпа-раметріческой альтернативної моделі, то графічний образ довжини бруска матиме вигляд, представлений на рис. 7. Тут введено такі позначення: і = 0,51 / е - імовірнісний показник результатів окремого виміру за шкалою лінійки, q = L / Lср - відносні значення цих вимірювань, Р - ймовірність стану «середнє значення довжини бруска менше показань лінійки», Н - ентропія цього стану.

    Найбільш інформативне стан при ІСР = 0,5 з імовірністю P (L = Lср) = 0,5 і ентропією Яmax (L = Lср) = 1п 2 відображає середнє значення вимірюваної величини. Діапазон інформаційної ефективності оцінюється шириною ДВ »0,005, що відповідає похибки вимірювань дь» 4 мм.

    ^^ то ^ оллоггіяя

    Мал. 7. Графік ймовірності Р і ентропії Н вимірювань довжини бруска

    Ці результати повністю узгоджуються з основними показниками фізичного виміру, що говорить про правомірність інформаційного підходу до вимірювань.

    Однак, результати фізичних і педагогічних вимірювань мають і виражені відмінності.

    Перше і принципова відмінність полягає в тому, що при проведенні педагогічних вимірювань немає попередньо створеної «еталонної метричної лінійки». У педагогічних вимірах сама метрика формуються в процесі самих вимірювань, при обробці результатів тестових випробувань.

    Друга відмінність відноситься до точності вимірювань. При проведенні педагогічних з-

    вимірювань значення дифференцирующего показника а незначно відрізняється від одиниці, в той час як при більш точних фізичних вимірах значення цього показника порядку сотень. У нашому прикладі вимірювання лінійкою а = 150.

    Властивості дифференцирующего показника такі, що при збільшення його значення зменшується ширина діапазону інформаційної ефективності вимірювання. Більш строго - ширина діапазону інформаційної ефективності вимірювання Л обернено пропорційна значенню дифференцирующего показника а й по порядку величин вони пов'язані ставленням Л ~ 1 / а. Якщо в педагогічних вимірюваннях відносна ширина діа-

    пазона інформаційної ефективності порівнянні із середнім значенням Ді ~ ІСР, то в фізичних вимірах -становить частки відсотка Ді ~ 0,01-ІСР. Вимірювання, в яких похибка вимірювань порівнянна з результатом, точними не назвеш. Проблема точності педагогічних вимірювань вирішується тільки при проведенні масових випробувань і за рахунок статистичної збіжності результатів вимірювань.

    Таким чином, застосування інформаційного підходу до вимірювання не обмежена від-

    слушною областю. На наш погляд, цей підхід носить універсальний характер, суть якого можна уявити виділенням наступних етапів:

    • пошук стану порівнюваних величин з найбільшим значенням ентропії;

    • подання цього стану у вигляді числової величини з метрикою.

    В цьому випадку результат вимірювання дасть максимально можливу кількість інформації не тільки в сенсі Шеннона, але і в сенсі найважливішого методу емпіричного пізнання.


    Ключові слова: МОДЕЛЬ ПЕДАГОГІЧНИХ ВИМІРЮВАНЬ / МОДЕЛЬ РАША / КІЛЬКІСТЬ ІНФОРМАЦІЇ / ФОРМУЛА Шеннон

    Завантажити оригінал статті:

    Завантажити