Запропоновано алгоритм оцінки компетентності студентів, заснований на моделі нечіткого оцінювання, а також представлено опис програмного комплексу для вирішення завдань оцінки компетентності студентів. Особливу увагу приділено питанням розробки алгоритмів оцінки компонент компетентності на основі експертного оцінювання та тестових технологій.

Анотація наукової статті з комп'ютерних та інформаційних наук, автор наукової роботи - Берестнєва О. Г., Марухін О. В., Абунавас Х. А.


Algorithm and Software of Information System of Students 'Competence Estimation in a Technical Hugher School

The algorithm of students 'competence estimation based on the model of fuzzy estimation is suggested as well as the description of program complex for solving the problems of students' competence estimation is presented. Special attention is paid to the questions of estimation algorithm development of competence components on the bases of expert estimation and test technologies.

Область наук:

  • Комп'ютер та інформатика

 

Рік видавництва: 2006

Журнал: Известия Томського політехнічного університету. Інжиніринг ГЕОРЕСУРСИ

Наукова стаття на тему 'Алгоритмічне і програмне забезпечення інформаційної системи оцінки компетентності студентів технічного вузу'

Текст наукової роботи на тему «Алгоритмічне і програмне забезпечення інформаційної системи оцінки компетентності студентів технічного вузу»

 

?Описані системи дозволяють перевіряти більш високі рівні знання, ніж репродуктивне впізнавання. Їх вбудовування в комп'ютерні про-

СПИСОК ЛІТЕРАТУРИ

1. http://www.testbox.soitvea.ru/docs/theory/classification.html

2. Баранов В.Ю. Форми відповідей при автоматизованому контролі знань студентів // Науковий вкнік ПДПУ iм. К.Д. Ушинського. - 2004. - № 7. - С. 17-24.

3. http://www.opentest.com.ua/

4. Гаврилова Т.А., Хорошевський В.Ф. Бази знань інтелектуальних систем. - СПб .: Пітер, 2000. - 384 с.

учающіе системи, пов'язані з вивченням відповідних дисциплін, значно підвищує освітні можливості таких систем.

5. Щербаков В.В., Капустін Ю.М., Федосєєв А.С. Розробка електронних навчальних видань. - М .: РХТУ ім. Д.І. Менделєєва, 2002. - 84 с.

6. Щербаков В.В., Мамакіна Е.А., Барботіна М.М. Розробка комп'ютерних атестаційних педагогічних вимірювальних матеріалів по хімії // Сучасні інформаційні технології: Праці Міжнар. науково-техн. конф. - Пенза,

2002 - С. 65-66.

7. http://window.edu.ru/window_catalog/files/6773/2000_2_070

681.3.01

Алгоритмічне та програмне забезпечення ІНФОРМАЦІЙНОЇ СИСТЕМИ ОЦІНКИ КОМПЕТЕНТНОСТІ СТУДЕНТІВ ТЕХНІЧНОГО ВУЗУ

О.Г. Берестнєва, О.В. Марухін, Х.А. Абунавас

Томський політехнічний університет E-mail: Ця електронна адреса захищена від спам-ботів. Вам потрібно увімкнути JavaScript, щоб побачити її.

Запропоновано алгоритм оцінки компетентності студентів, заснований на моделі нечіткого оцінювання, а також представлено опис програмного комплексу для вирішення завдань оцінки компетентності студентів. Особливу увагу приділено питанням розробки алгоритмів оцінки компонент компетентності на основі експертного оцінювання та тестових технологій.

Вступ

На даному етапі розвитку технічної освіти на зміну категорії «професіоналізм», як головної виробничої цінності, приходить категорія «компетентність». Аналіз літератури з проблеми дослідження компетентності показав, що поки не вироблено єдиної думки про компонентах і методах оцінки компетентності. З огляду на специфіку поняття «компетентність студента» і погляди вітчизняних і зарубіжних дослідників, авторами запропонована структурна модель, на основі якої розроблено алгоритмічне і програмне забезпечення для оцінки компетентності. Стаття є продовженням циклу робіт [1-4], присвячених проблемі розробки методів вимірювання та оцінки компетентності студентів технічного вузу.

У більш розгорнутому вигляді мети освіти були визначені Радою Європи як вісім груп ключових компетенцій, яким вуз повинен навчити студентів [5]:

• комунікація рідною мовою;

• комунікація іноземною мовою;

• математичні навички, базові навички в природничих науках і техніці;

• навички в області інформаційно-комунікаційних технологій;

• навички безперервного навчання;

• навички міжособистісного спілкування і правова

компетенція;

• підприємницькі здібності;

• культурна компетенція.

Орієнтоване на компетенції освіта

(Освіта, заснована на компетенціях: com-petenct-based education - CBE) формувалося в США в загальному контексті запропонованого Н. Хомський в 1965 р поняття «компетенція», т. Е. Вже в 60-х роках ХХ ст. було закладено розуміння відмінностей між поняттями «компетенція» і «компетентність», де останнім трактується як грунтується на знаннях, інтелектуально і особистісно-но обумовлений досвід соціально-професійної життєдіяльності людини [5].

На сьогоднішній день не розроблено ефективний інструментарій для оцінки та моніторингу розвитку компетентності студента. Це пов'язано з тим, що безпосередньо виміряти рівень компетентності важко, тому замість вимірювання краще вести мову про оцінку або про обчислення показників компетентності з використанням непрямих показників. На основі аналізу літературних джерел та результатів власних експериментальних досліджень [1-6] нами були визначені методи і методики вимірювання компонент компетентності і побудована структурна модель компетентності студентів, рис. 1.

АБИТУРИЕНТ =?

Знання, вміння, навички Професійно важливі особистісні якості Рівень фізичного і психічного здоров'я

Ціннісно-смислова

(Валеологічна; екологічна; продуктивна «Я-концепція»)

Соціальна

(Комунікативна; громадянська; нормативність діяльності та поведінки)

компетентність

студента

Предметно-діяльнісна

(Інтелектуальна; професійні знання, вміння, навички; професійно важливі якості; інноваційний і науковий потенціал)

Інформаційно-технологічна

(Володіння інформаційними технологіями; знання іноземних мов і т. П.)

Відповідність компетентності нормативного рівня

компетентні випускник

Мал. 1. Структурна модель формування компетентності студентів

Слід зазначити, що в структурі соціальної компетентності в якості одного з основних компонентів пропонується використовувати показники впорається поведінки (копінг-стратегії) студентів, як фактора формування компетентності [6].

У роботах [2, 3, 7] показано, що серед методів вимірювання та оцінки компонентів компетентності можна виділити дві великі групи: тестові технології та методи експертного оцінювання.

Методи педагогічного та психодіагностичного

тестування і їх програмна реалізація

Загальновідомий факт, що сучасні освітні технології широко використовують методи як педагогічного, так і психодіагностичного тестування. Зупинимося коротко на цих поняттях.

Психологічний тест - система тестових завдань, що дозволяють виміряти рівень розвитку певного психологічного якості особистості. Психологічне тестування - метод психологічної діагностики, що використовує стандартизовані тести, що мають певну шкалу значень.

Педагогічний тест - це короткочасне, технічно порівняно просто обставлене випробування, проведене в рівних для всіх випробовуваних умовах і має вигляд такого завдання, рішення якого піддається кількісному обліку і служить мірою розвитку до даного моменту відомої функції у даного випробуваного. Завдання тесту виражаються не у вигляді питань і завдань, а являють собою твердження, які в залежності від відповідей піддослідних можуть перетворюватися в справжні або неправдиві висловлювання. Педагогічне тестування - це спеціально розроблена науково оптимізована атестаційна процедура, що дозволяє максимально об'єктивно оцінювати рівень досягнень людини і висловлювати ці можливості кількісно.

У наших дослідженнях з проблем вимірювання і оцінки компетентності студентів використовуються обидва види тестів (педагогічні та психологічні), рис. 2. Авторами розроблено та впроваджено в дослідну експлуатацію відповідне програмне забезпечення. Особливістю комп'ютерного психодіагностичного тестування є необхідність розробки комп'ютерних версій не тільки для опитувальників різного виду (рис. 3),

ТЕСТОВІ ТЕХНОЛОГІЇ

Т

Т

ПСИХОЛОГІЧНІ

Алгоритми прийняття рішення за результатами тестування

ПЕДАГОГІЧНІ

З урахуванням разнотипности вихідних даних

В умовах невизначеності

Мал. 2. Система тестування

але і для так званих проективних методик (наприклад, тест Люшера). Детально це питання розглянуто в наших роботах [2-4].

Слід зазначити, що для дієвого аналізу компетентності потрібен підхід, для якого точність, строгість і математичний формалізм не є чимось абсолютно необхідним і в якому використовується методологічна схема, яка припускає нечіткості і часткові істини. Цей підхід має три відмінні риси:

1. У ньому використовуються «лінгвістичні» змінні замість числових змінних або на додаток до них.

2. Прості відносини між змінними описуються за допомогою нечітких висловлювань.

3. Складні відносини описуються нечіткими алгоритмами.

Методи цього напрямку дозволяють отримувати кількісну оцінку прийнятих рішень по їх якісним описами [8]. Спроби застосування даного підходу для оцінки різних складових освітнього процесу робилися нами і раніше [2, 3]. У даній статті описаний алгоритм прийняття рішення в умовах невизначеності, заснований на моделі нечіткого оцінювання, пропозицій в [9].

Формальна модель нечіткого оцінювання компетентності може бути представлена ​​наступним чином. Процедуру Р завдання ступеня відповідності кожного компонента V; безлічі Vмож-но визначити формалізмом:

Ууе ^ Р (У;, ИЕ, 1) ^ Л ;, де МО - еталонна модель компетентності; I -лінгвістіческая змінна, яка визначає шкалу оцінювання рівня компетентності; А] = {(а, л)}, 1 = 1, .., Ц - нечітка множина можливих рівнів компетентності (тут Ц - потужність безлічі А; а - значення компонента; л-ступінь відповідності певному рівню).

Шкала оцінювання компетентності задається лінгвістичної змінної I = [I1, I2, ..., Ik], де k - число значень I, a I, l = 1, .., k - значення, що використовуються в якості оціночних категорій при побудові функцій належності . У нашому випадку k = 5 і, відповідно, 11 = «дуже низький рівень», 12 = «низький», 13 = «середній», ^ «високий», 15 = «дуже високий рівень».

Еталонні функції приналежності? Лг задаються у вигляді д. = {01Д; 02 / I2, ..., Ok / I,}, де Olr, - ступінь відповідності l-ої компоненти компетентності оціночної категорії Il. На підставі отриманих значень Aj і відповідних функцій приналежності ^ розраховується сумарна оцінка компетентності у вигляді функції приналежності / звелів, нормованої щодо кількості компонент компетентності п:

ft = {i 1О1hi% 1. i% 0 "l I,}.

У блоці прийняття рішення реалізований текже алгоритм прийняття рішення з урахуванням разнотипности вихідних даних. На першому етапі проводиться кореляційний аналіз наявних ознак. Залежно від типу вимірювальної шкали використовуються коефіцієнти кореляції: Пірсона, Спірмена, бісеріальний, рангове-бісеріальний, а також коефіцієнти асоціації і взаємної пов'язаності.

На другому етапі проводиться перетворення вихідних ознак в залежності від вимірювальної шкали і формування матриці ознак на основі кореляційного аналізу та отриманих значень інформативності кожної ознаки. На третьому етапі відбувається побудова матриці діагностичнихкоефіцієнтів і висновок вирішальних правил для прийняття рішення [3].

Розроблений авторами і реалізований у вигляді комп'ютерної програми алгоритм педагогічного тестування дозволяє не тільки непо-

Пцск 11 МтгтоІ Аг.геі М У / о<: I ДсЖУ'КМ

Мал. 3. Вид діалогового вікна тесту на визначення типу темпераменту

средственно проводити тестування і зберігати результати, але і робити оцінку якості тесту за допомогою параметричних моделей Раша і Бірнбаума [7].

Алгоритми експертного оцінювання

Застосування експертного оцінювання дозволяє отримати найбільш повну інформацію про тих компонентах компетентності, для оцінки яких неможливо використовувати кількісні показники.

Основними характеристиками при груповому експертному оцінюванні є:

• узагальнена думка,

• компетентність експертів.

• ступінь узгодженості думок.

Авторами була розроблена комп'ютерна система для аналізу і обробки результатів експертного оцінювання, схема якої представлена ​​на рис. 4.

Блок проектування і аналізу (модулі 1, 2) призначений для дослідника. Включає функції: побудова опитувальника для збору експертної інформації (для кожної експертної групи); завдання алгоритму аналізу результатів опитування (аналізатора); застосування стандартних алгоритмів і використання статистичних методів багатовимірного аналізу для виявлення показників якості освітнього процесу (обчислення експертних оцінок).

Блок збору експертної інформації (модулі 3, 4) являє собою окремий програмний модуль. Призначений для користувача-експерта. ос-

новное призначення - персональний опитування кожного експерта (групи експертів) і передача інформації в базу даних для подальшої обробки.

Обробка експертних оцінок проводиться за допомогою стандартних алгоритмів експертного оцінювання і за допомогою багатовимірного статистичного аналізу даних.

Стандартні алгоритми теорії експертного оцінювання включають визначення показника узагальненої думки і ступеня узгодженості думок експертів по кожному питанню, а також виявлення експертів, які висловили оригінальні судження.

Для реалізації обробки експертної інформації методами багатовимірного статистичного аналізу були обрані факторний і кластерний аналізи. Кластерний аналіз дозволяє групувати змінні (показники) в класи (кластери) на основі єдиної міри, що охоплює ряд ознак, розкривати глибинні внутрішні зв'язки між різними явищами, зовні віддаленими далеко один від одного. Однією з основних завдань факторного аналізу є скорочення простору ознак, т. Е. Виділення на основі наявних показників (ознак) нових узагальнених змінних (факторів).

Структура програмного забезпечення

Розроблений нами в даний час прототип інформаційної системи оцінки та моніторингу компетентності студентів технічного вузу створений на базі комп'ютерної системи ADAPT [10] і має всі компоненти відповідно до сучасною моделлю інформаційної системи, такі

модуль 1

Проектування опитувальників, тестів, анкет і аналізаторів

модуль 2

Обробка і аналізу експертної інформації <

База даних

Блок статистичної обробки

модуль 4

Віддалений збір експертної інформації

Висновок - IIS-сервер

інформації 1

-1 Web-браузер

Мал. 4. Загальна схема системи експертного оцінювання

як: збір, зберігання, оброблення, передавання, видача, захист інформації.

Система спроектована як реляційна база даних, реалізована в СУБД MS Access з включенням програмних модулів, написаних на мові Visual Basic for Application. Має дубльовану структуру блоку комп'ютерного тестування з можливістю Internet-доступу.

Блок збору інформації включає в себе методики опитувань, обстежень, засновані на сучасних інформаційних технологіях, що дозволяють підвищити якість і достовірність прийнятих рішень. База даних інформаційної системи складається як з основних таблиць, ієрархічно пов'язаних між собою різними видами явних зв'язків, так і допоміжних з різними типами неявних зв'язків. У структурі є попарно пов'язані таблиці-критерії. База даних має різні зв'язки на рівні SQL-запитів, які реалізуються тільки під час організації вибірки даних або створення тимчасової таблиці.

Блок обробки інформації включає в себе розроблені нами інформаційні технології, засновані на методах експертного оцінювання і багатовимірного аналізу даних [2, 3].

Структура системи має блочну уніфікацію, основні переваги якої полягають в наступному: вихід з ладу блоку не впливає на роботу інших блоків (крім виходу з ладу блоку керування); зміна структури системи не впливає на цілісність даних; можлива заміна застарілих програмних блоків або їх модифікація; додавання нових блоків без шкоди для основної концепції програмного комплексу; можливе використання окремих блоків, зокрема, блоків комп'ютерного тестування, автономно.

висновок

1. Розроблено програмний комплекс для оцінки компетентності студентів технічного вузу на основі запропонованої авторами моделі компетентності.

2. Програмний комплекс є багатофункціональним з точки зору вирішуваних завдань. На його основі можуть бути успішно вирішені багато практичні завдання, пов'язані з оцінкою компетентності (наприклад, завдання конкурсного відбору). Вимірювання і оцінку окремих компонентів компетентності можна проводити як на основі методів експертного оцінювання, так і на основі тестових технологій (педагогічне і психодіагностичне тестування).

3. Застосування на етапі прийняття рішення алгоритмів нечіткої класифікації і, відповідно, уявлення вихідної інформації у вигляді лінгвістичних змінних дозволяє зняти питання про точність вимірювання елементів і компонентів компетентності і вирішити проблему нечіткості і невизначеності.

4. В якості одного з основних переваг комп'ютерної системи слід відзначити можливість створення бази даних, що включає відомості не тільки про оцінку компетентності студентів, а й про її динаміці. Дані такого моніторингу надають можливість кількісної оцінки загального рівня компетентності не тільки окремого студента, але всього контингенту, т. Е. Можливість проведення системних досліджень з проблем компетентності в технічному вузі.

Робота частково підтримана грантом НАН України, проект

№ 06-06-00582-а.

СПИСОК ЛІТЕРАТУРИ

1. Іванкіна Л.І., Берестнєва О.Г, Пермяков О.Е. Сучасний технічний університет: Філософський і психолого-соці-ологіческой аспект дослідження стану і розвитку університету. - Томськ: Вид-во Том. ун-ту, 2003. - 110 с.

2. Берестнєва О.Г., Шаропін К.А., Марухін О.В. Експертна система оцінки компетентності випускників технічного університету // Штучний інтелект. - 2004. - № 4. -С. 264-267.

3. Берестнєва О.Г., Марухін О.В. Інформаційна технологія оцінки компетентності студентів технічного університету // Інтелектуальні системи (1ЕЕЕ АВ'05). Інтелектуальні САПР (САБ-2005): Праці Міжнар. науково-технічних конференцій. Наукове видання в 3-х томах. - М .: Изд-во Фізико-математичної літератури, 2005. - Т. 2. - С. 384-390.

4. Холодна М.А., Берестнєва О.Г., Кострикіна І.С. Когнітивні і метакогнітивні передумови інтелектуальної компетентності в науково-технічну діяльність // Психологічний журнал. - 2005. - № 1. - С. 54-59.

5. Зимова І.А. Ключові компетентності - нова парадигма результату освіти // Вища освіта сьогодні. -

2003. - № 5. - С. 34-42.

6. Муратова Е.А., Берестнєва О.Г. Моделювання копінг-стра-тегій студентів технічного університету // Известия Томського політехнічного університету. - 2005. - Т. 308. - № 6.

- С. 175-179.

7. Берестнєва О.Г., Марухін О.В. Комп'ютерні технології в оцінці якості навчання // Известия Томського політехнічного університету. - 2003. - Т. 306. - № 6. - С. 106-112.

8. Борисов А., Крумберг І., Федоров І. Прийняття рішень на основі нечітких моделей. - Рига: Зинатне, 1990. - 352 с.

9. Гулідов І.М., Шатун А.Н. Методика конструювання тестів.

- М .: ФОРУМ: ИНФРА, 2003. - 112 с.

10. Берестнєва О.Г., Іванов В.Т, Іванкіна Л.І., Шаропін К.А. Комплекс психофізіологічного обстеження студентів. Призначення, структура, результати // Известия Томського політехнічного університету. - 2003. - Т. 306. - № 2. -С. 57-63.

Завантажити оригінал статті:

Завантажити