Використання сучасних статистичних методів в процесі моніторингу

3. Використання сучасних статистичних методів в процесі моніторингу

У [15] наведено перелік статистичних методів, які мають стати у пригоді організації в процесі розроблення, впровадження, підтримання та поліпшення СУЯ відповідно до вимог ISO 9001. В залежності від виду діяльності організації рекомендовано використовувати такі методи:

-  описова (наглядова) статистика, в тому числі графічні методи (1);

-  розроблення експериментів (2);

-  випробування гіпотези (3);

-  аналіз вимірювання (4);

-  аналіз здатності процесів (5);

-  регресійний аналіз (6);

-  аналіз надійності (7);

-  аналіз вибірки зразків (8);

-  моделювання (9);

-  статистичні діаграми управління процесом (контрольні карти Шухарта (SPC)) (10);

-  статистична толерантність (вибір допусків для складного виробу) (11);

-  аналіз часового ряду (12).

Таблиця 3

№ з/п	Вимоги ДСТУ ISO 9001:2001	Потреби у використанні числових даних	Статистичні методи згідно з нумерацією, наведеною вище	Доцільність використання у діяльності ВНЗ (позначається знаком «+»)
1.	5.6.2. Вхідні дані аналізування
1.1.	а) результати аудитів	Збирання та оцінювання даних аудитів	(1), (8)	+
1.2.	б) зворотній зв»язок з замовником	Збиранні та оцінювання даних про ступінь задоволеності замовників	(1), (8)	+
1.3.	в) функціонування процесів та відповідність продукції	Оцінювання функціонування процесів та відповідності продукції	(1), (5), (8), (10)	+
1.4.	г) стан запобіжних та коригувальних дій	Збирання та оцінювання даних про виконання запобіжних та коригувальних дій	(1)	+
2.	6.2.2. Компетентність, обізнаність та підготовка
2.1.	6.2.2. в) оцінювання ефективності вжитих заходів	Оцінювання компетентності та ефективності навчання	(1), (8)	+
2.2.	6.4. Виробниче середовище	Моніторинг за виробничим середовищем	(1), (10)	За потреби, наприклад, в процесі проведення наукових досліджень
3.	7. Випуск продукції
3.1.	7.2.2. Аналізування вимог щодо продукції	Оцінювання здатності організації задовольнити визначені вимоги	(1), (4), (5), (8), (11)	За потреби, наприклад, в процесі проведення наукових досліджень
3.2.	7.3.7. Вихідні дані проектування та розроблення	Перевірка відповідності вихідних даних проектування вхідним вимогам	(1), (2), (3), (4), (6), (7), (8), (9), (12)	За потреби
3.3.	7.3.7. Перевірка проекту та розробки	Перевірка вихідних даних проектування на відповідність вхідним вимогам	(1), (2), (3), (4), (6), (7), (8), (9), (12)	За потреби
3.4.	7.3.6. Затвердження проекту розробки	Забезпечення впевненості у тому, що продукція відповідає встановленим вимогам і потребам	(1), (2), (3), (4), (6), (7), (8), (9), (12)	За потреби
3.5.	7.3.7. Управління змінами в проекті та розробці	Аналіз, перевірка, затвердження змін, оцінювання ефекту від змін	(1), (2), (3), (4), (5), (6), (7), (8), (9)	За потреби
3.6.	7.4 Закупівля 7.4.1. Процес закупівлі	Забезпечення відповідності закупленої продукції установленим закупівельним вимогам Оцінювання здатності постачальників задовольнити вимоги організації	(1), (3), (4), (5), (6), (7), (8) (1), (2), (5), (6), (8)	За потреби За потреби
3.7.	7.4.3. Перевірка закупленої продукції	Визначення та впровадження інспектування або інших заходів, необхідних для забезпечення впевненості у тому, що закуплена продукція задовольняє закупівельні вимоги	(1), (3), (4), (5), (7), (8)	За потреби
3.8.	7.5.1. Управління виробництвом і наданням послуг	Моніторинг та управління виробництвом та наданням послуг	(1), (4), (5), (6), (7), (8), (10), (12)	+
3.9.	7.5.2. Затвердження процесів виробництва	Затвердження, моніторинг та управління процесами, виходи яких неможливо перевірити шляхом контролю та вимірювань	(1), (5), (6), (8), (10), (12)	За потреби
3.10.	7.5.4. Власність замовника	Перевірка, захист та охорона власності замовника	(1), (8)	За потреби
3.11.	7.5.5. Збереження продукції	Моніторинг за пакуванням, складуванням та захистом продукції	(1), (2), (3), (4), (6), (7), (8), (9), (12)	За потреби
3.12.	7.6. Управління засобами моніторингу та вимірювальної техніки	Забезпечення моніторингу процесу вимірювань та вимірювальної техніки, необхідних для доведення відповідності продукції встановленим вимогам	(1), (4), (5), (6), (8), (10), (11), (12)	За потреби
4.	8. Вимірювання, аналізування та поліпшення 8.2. Моніторинг та вимірювання
4.1.	8.2.1. Задоволеність замовника	Моніторинг та аналіз інформації стосовно сприйняття замовником рівня задоволення організацією вимог	(1), (8)	+
4.2.	8.2.2. Внутрішній аудит	Планування і проведення внутрішніх аудитів та звітування про результати аудитів	(1), (2), (3), (4), (6), (7), (8), (9), (12)	+
4.3.	8.2.3. Моніторинг та вимірювання процесів	Моніторинг та вимірювання процесів системи управління якістю для забезпечення спроможності процесів досягти запланованих результатів	(1), (2), (3), (4), (5), (8), (10), (12)	+
4.4.	8.2.4. Моніторинг та вимірювання продукції	Моніторинг та вимірювання характеристик продукції на відповідних етапах процесу випуску для доведення відповідності встановленим вимогам	(1), (2), (3), (4), (5), (6), (7), (8), (10), (12)	+
4.5.	8.3. Управління невідповідною прдукцією	Ідентифікація продукції, яка не відповідає установленим до неї вимогам для запобігання її постачання Перевірка виправленої продукції стосовно відповідності вимогам	(1), (8) Дивись п.4.4. (8.2.4.) цієї таблиці	+ +
4.6.	8.4. Аналізування даних	Визначення, збирання та аналізування даних для доведення результативності системи у правління якістю з погляду на можливості постіного поліпшення. Аналізування даних повинно надавати інформацію щодо: а) задоволеності замовника; б) відповідності вимогам до продукції; в) характеристик і трендів процесів; г) постачальників.	Дивись п. 4.1. (8.2.1.) цієї таблиці Дивись п. 4.4. (8.2.4.) цієї таблиці Дивись п. 4.3. (8.2.3.) цієї таблиці Дивись п. 3.6. (7.4.1.) цієї таблиці
8.5.	Поліпшення
4.7.	8.5.1. Постійне поліпшення	Поліпшення процесів системи у правління якістю через використання числових даних у таких напрямах як: -  проектування та розробка; -  закупівля; -  управління виробництвом та наданням послуг; - управління моніторингом та вимірювальною технікою.	Дивись п. 3.2., 3.3, 3.4 (7.3.3., 7.3.5., 7.3.6.) цієї таблиці Дивись п. 3.6., 3.7 (7.4.1., 7.4.3.) цієї таблиці Дивись п. 3.8., 3.9, 3.11 (7.5.1., 7.5.2., 7.5.5.) цієї таблиці Дивись п. 3.1.2. (7.6.) цієї таблиці
4.8.	8.5.2. Коригувальні дії	Аналіз даних щодо невідповідностей для з»ясування причин їх появи	(1), (2), (3), (5), (6), (10), (12)	+
4.9.	8.5.3. Запобіжні дії	Аналіз даних щодо потенційних невідповідностей для запобігання їх виникненню	(1), (2), (3), (5), (6), (8), (10), (12)	+

Вивчення даних, наведених у таблиці 3 дозволяє виділити найбільш вживані методи статистичного аналізу в процесі функціонування та моніторингу СУЯ:

-  описова статистика (1);

-  аналіз вибірок зразків (8);

-  аналіз здатності процесів (5);

-  регресійний аналіз (6);

-  статистичні діаграми управління процесом (10);

-  аналіз часового ряду (12).

Застосування методів описової статистики може бути корисним майже в усіх сферах, де зібрано кількісні дані. Це може бути інформація про продукцію, процеси, або інші аспекти СУЯ. Дані також можуть бути використані для аналізу керівництва. Приклади застосування можуть бути такі:

-  підсумовування ключових вимірювальних характеристик продукції;

-  представлення опису певного параметру процесу;

-  характеристика часу доставки або надання послуги;

-  підсумовування даних щодо ступеню задоволеності або незадоволення замовників;

-  візуалізація даних вимірювання;

-  показ розподілу характеристики процесу за допомогою гістограми відповідно до специфічних обмежень характеристики;

-  оцінка можливої залежності між перемінною процесу та діаграмою розкиду.

До методів описової статистики можна віднести такі 7 інструментів контролю якості, як статистичний ряд, контрольний листок, гістограма, діаграма розкиду, метод стратифікації, діаграму Парето, причинно-наслідкову діаграму Ісікави, які описано у [21]. ВНЗ доцільно використовувати зазначені методи для аналізу успішності і відвідування студентами лекцій, якості викладання, якості тестових завдань, пошуку причин недоліків у навчальному і виховному процесах тощо.

 Аналіз вибірок зразків найбільш часто використовується у двох сферах:

а) приймальний контроль матеріалів, комплектуючих, готових виробів, оцінювання відповідності матеріально-виробничих запасів встановленим вимогам;

б) під час ринкового дослідження для оцінки частки споживачів, які можуть купити певний продукт.

Для отримання достовірних результатів дуже важливими є такі чинники як обсяг вибірки, частота опиту, відбір типових зразків, неупереджений метод вибірки. Застосування цього методу описано у [22].

ВНЗ може використовувати ці методи, наприклад, для вибіркової перевірки залишкових знань студентів, оцінювання частки випускників, які можуть знайти роботу за спеціальністю, тощо.

Аналіз здатності процесу дозволяє оцінити його спроможність виробляти результат, який відповідає дозволеній амплітуді варіацій, а також оцінити очікувану кількість невідповідного продукту.

При цьому широко використовуються відповідні індекси, які характеризують мінливість даних у рамках 6s (шість сигм), тобто шести середньо квадратичних відхилень від нормального розподілу результатів процесу, зокрема, С_Р як відношення повного допуску до 6s.

Підприємства автомобільної, аерокосмічної, електронної, харчової, фармацевтичної та медичної промисловості часто використовують здатність процесу як основний критерій, за яким можна оцінити не тільки продукцію, але і постачальника. У сфері вищої освіти аналіз здатності процесів за звичай не застосовується. Метод “6 сигм” описано у [23].

Досить широкого застосування в автомобільній, електронній, оборонній, машинобудівній промисловості набули статистичні діаграми управління процесом, або, як їх часто називають, контрольні карти Шухарта. Крім них є ще інші форми карт, такі, що чутливі до малих змін параметрів процесу, а також ті, що згладжують коротко термінові варіації та виявляють стійкі тенденції.

Контрольні карти використовуються для контролю над варіаціями процесу та оцінки його стабільності. У найпростішому випадку, якщо вимірюване значення параметру процесу виходить за встановлені межі регулювання, то це є сигналом для пошуку причини виходу процесу за рамки управління та стабільності і вимагає певних регулюючих дій для входження параметру у встановлений діапазон значень. Контрольні карти використовують також для зниження непотрібного втручання у процес шляхом розмежування варіації, властивої процесу, і варіації, якої потрібно позбутись. Більш детально цей метод описано у [21], [22].

ВНЗ може використати контрольні карти для контролю успішності і відвідуваності студентів, рівня складності тестових завдань, рівня якості викладання тощо.

Окреме місце серед статистичних методів займають методи прогнозування, до багатьох з яких відносяться аналіз часового ряду. Це пояснюється тим, що прогнозування є саме тим інструментом, який дозволяє запобігти виникненню невідповідності, а не усувати її. Такий підхід є основою ідеології TQM, яка орієнтує організацію на запобігання замість виправлення.

Існуючі методи прогнозування представлено на рис.8 і детально описано у [24].

Аналіз часового ряду застосовується для того, щоб спрогнозувати і вивчити поведінку моделі, параметру, характеристики у майбутньому через певний час, наприклад, протікання процесу, кількість скарг або рекламацій, невідповідностей, продуктивність, обсяги продажу, результати випробувань, потреби у матеріалах, комплектуючих, ресурсах тощо.

З точки зору процесного підходу аналіз часового ряду виявляється дуже корисним для розуміння функціонування процесу за умови точного визначення умов його протікання. Цей метод дає можливість спрогнозувати регулюючі впливи на процес у напрямку досягнення певного значення окремих найбільш важливих результатів процесу, а також зменшення варіацій процесу.

 

Рис. 8

Серед якісних методів прогнозування набув популярності метод Дельфі, розроблений у 50-х роках минулого століття. Перевага метода по відношенню до інших кількісних полягає у зменшенні впливу інших на думку окремого експерта, який бере участь у прогнозуванні. Керівник прогнозної групи готує опитувальну анкету і роздає її незалежним експертам, які не мають зв”язку між собою. Після аналізу отриманих прогнозів він готує нову анкету і розсилає її. Знову проводить аналіз і ставить додаткові нові питання. Цикл може повторюватись до отримання задовільних на думку керівництва або замовників прогнозу результатів. Метод Дельфі може бути використаний ВНЗ для оцінювання своїх ключових процесів. Серед методів, що базуються на аналізі часового ряду, слід виділити метод лінійно-регресійного аналізу, який використовується для прогнозування значення одного параметру в залежності від іншого.

Для застосування методу необхідно зібрати дані за попередні проміжки часу. По них необхідно побудувати графік, щоб визначитись чи є залежність між параметрами лінійною.

Графік регресії можна описати рівнянням

y = a + bx, де y – значення залежного параметру,

a - відрізок, який відсікається по вісі y,

b - кут нахилу прямої,

x – незалежний змінний параметр, яким є поточний час.

Метод є корисним для довгострокового прогнозування на основі спосережень за певний період. Розглянемо використання цього методу для прогнозування обсягів набору студентів на юридичний факультет ВНЗ на 3 найближчі роки на основі 10 попередніх років.

Таблиця 4

Рік	Обсяг набору	Рік	Обсяг набору	Рік	Обсяг набору
1	120	5	300	9	460
2	150	6	400	10	490
3	180	7	520
4	250	8	480

Рис. 9

Після нанесення даних на графік проводимо лінію, на якій розміщується найбільша кількість точок. Це є лінія регресії. Відрізок, який відсікає лінія регресії на вісі y приблизно дорівнює a=40. Коеффіцієнт нахилу лінії регресії визначається як відношення проекцій відрізку лінії між 1 і 10 роками відповідно на вісях y та x.

b =	(490-80)	=	410	=	45,5
	(10-1)		9

Тоді рівняння регресії буде виглядати:

y = 40 + 45,5x

Прогнози набору студентів на юридичний факультет протягом наступних трьох років наведено у таблиці 5.

Таблиця 5

Рік	Прогноз обсягу набору студентів
11	40 + 45,5 ´ 11 = 540
12	40 + 45,5 ´ 12 = 586
13	40 + 45,5 ´ 13 = 631

Методи причинного прогнозування використовуються, коли існує зв’язок між якимось фактором, або подією, які тягнуть за собою певні наслідки.

Наприклад, можна очікувати, що погіршення демографічної ситуації стане причиною зменшення обсягів набору у ВНЗ. Тобто, якщо відома загальна кількість молодих людей певного року народження, які наступного року можуть стати студентами, то можна спрогнозувати обсяги набору у ВНЗ на наступний рік. Таку залежність можна з певними припущеннями вважати лінійною, тобто здійснити прогнозування за методикою, наведеною у попередньому випадку.

Більш складним причинним методом є багатофакторний регресійний аналіз, який розглядає вплив цілої низки незалежних змінних параметрів на досліджуваний об’єкт. Наприклад, на вибір окремого абітурієнта ВНЗ і відповідно на загальний обсяг набору впливає група факторів таких, як здібності абітурієнта, власне бажання, думка батьків та товарищів, мода, потреба ринку у фахівцях даної спеціальності, авторитет ВНЗ, реклама, конкурс, вартість навчання, складність та умови навчання, якість підготовки, наявність підготовчих курсів.

Таку залежність обсягу набору від зазначених факторів можна визначити рівнянням багатофакторної регресії:

K = a₁K_пк + a₂K_зд + a₃K_вб + a₄K_бТ + a₅K_м + a₆K_ПР + a₇K_АВНЗ + a₈K_Р + a₉K_К + a₁₀K_В + a₁₁K_СУ + a₁₂K_Я + a₁₃K_ПП , де

K – загальна кількість прийнятих на навчання студентів;

K_пк – кількість студентів на підготовчих курсах;

K_зд – кількість студентів з необхідними здібностями;

K_вб - кількість студентів, що прислухались до власного бажання;

K_бТ - кількість студентів, що прислухались до батьків та товарищів;

K_м - кількість студентів, на рішення яких впливає мода

K_ПР - кількість студентів, орієнтованих потребами ринку;

K_АВНЗ - кількість студентів, на яких вплинув авторитет ВНЗ;

K_Р - кількість студентів, що прийняли рішення під впливом реклами;

K_К - кількість студентів, орієнтованих на рівень конкурсу, тобто складність вступу;

K_В - кількість студентів, орієнтованих на певну вартість навчання;

K_СУ - кількість студентів, орієнтованих на комфортні умови начання;

K_Я - кількість студентів, орієнтованих на високу якість підготовки;

K_ПП - кількість студентів, орієнтованих на працевлаштування за спеціальністю;

a₁- a₁₃ – вагові коефіцієнти впливу кожного з факторів на загальний обсяг набору.

Розв’язання наведеного рівняння багатофакторної регресії вимагає проведення досить складних математичних розрахунків, ускладнених невизначеністю вагових коефіцієнтів. В цьому випадку доцільно звернутись до ще одного методу прогнозування, яким є моделювання, зокрема імітаційне.

Розглянемо процес імітаційного моделювання дослідження впливу якості підготовки випускника ВНЗ на забезпечення стабільного обсягу ліцензованого набору за окремою спеціальністю.

Як зазначалось вище, обсяг набору залежить від кількості абітурієнтів, які подали заяви про вступ до ВНЗ, зробивши свій вибір під впливом цілої низки факторів. Тобто, залежність між обсягом набору і кількістю поданих заяв, по суті є лінійною і вже розглядалась.

Головним у дослідженні є залежність кількості заяв про вступ від якості підготовки випускника.

На першому етапі імітаційного моделювання необхідно визначити які фактори будуть змінюватись у ході моделювання, а які будуть фіксованими у вигляді параметрів. У даному випадку мінливим буде обсяг набору і якість підготовки, а параметрами інші показники, наведені у таблиці 6.

Таблиця 6

№ з/п	Назва параметру	Рівень значення параметру
		низький (н)	середній (с)	високий (в)
1.	Здібності абітурієнта	н	с	в
2.	Власне бажання	н	с	в
3.	Вплив батьків і товаришів	н	с	в
4.	Вплив моди	н	с	в
5.	Потреби ринку	н	с	в
6.	Авторитет ВНЗ	н	с	в
7.	Вплив реклами	н	с	в
8.	Складність вступу	н	с	в
9.	Вартість навчання	н	с	в
10.	Складність та умови навчання	н	с	в
11.	Перспективи працевлаштування за спеціальністю	н	с	в

Другим етапом моделювання має стати формулювання правила прийняття рішень, або визначення пріоритетів. У даному випадку приймемо пріоритети у вигляді порядкового номеру параметру (1 найвищий) для прийняття рішення абітурієнтом про вступ. Для реального моделювання потрібно більш детально сформулювати ці правила.

Третім етапом моделювання є визначення розподілу імовірності. Обсяг набору досить точно може бути описаний нормальним математичним розподілом.

Четвертий етап – це визначення нарощування часу. Наприклад, через кожен рік протягом 10 років.

П’ятим етапом є визначення початкових умов для мінливих, зокрема, для якості підготовки можна задати як і для параметрів три початкових значення: низький, середній та високий рівень.

Шостим етапом моделювання є визначення тривалості процесу моделювання. У нас він визначений як заданий термін часу протягом 10 років.

Сьомий етап полягає в оцінюванні результатів моделювання. При цьому результат кожного окремого запуску моделі за певних значень параметрів може розглядатись як окремий елемент вибірки (множини). А вся вибірка, в свою чергу, може бути проаналізована за допомогою існуючих статистичних методів, які розглядались вище.

Завершує імітаційне моделювання перевірка отриманих результатів. Найпростішим є ввести у модель такі дані, для яких існують реальні результати і зіставляти отримані результати з фактичними. У нашому випадку досвід ВНЗ – лідерів у сфері освіти говорить про пряму залежність обсягів набору від якості підготовки випускників.

У [25] на прикладі визначення рейтингу факультетів ВНЗ показано використання статистичних методів, як основи для прийняття обґрунтованих рішень щодо покращення ключових процесів діяльності навчального закладу. Невміння, або формальне використання статистичних методів аналізу може привести до втрати управління ключовими процесами, дестабілізації СУЯ ВНЗ та демотивації персоналу навчального закладу.

Висновки

 

1.  Традиційний підхід до системи моніторингу якості вищої освіти базується на безумовно корисних, перевірених на практиці методах контролю за кінцевими результатами навчання. Ці методи достатньо розроблені на науковому і методичному рівнях. Натомість, моніторингу за ключовими процесами, з яких складається діяльність ВНЗ, не приділяється належної уваги. Відсутній системний підхід до здійснення моніторингу.

2.  Запропоновано 3-х рівневу модель системи моніторингу ВНЗ на основі принципів TQM та стандартів ISO 9000 версії 2000 року, яка усуває недоліки, притаманні традиційній моделі. При цьому нова модель включає у себе усі елементи традиційної, роблячи наголос на моніторингу ключових процесів та системи управління якістю в цілому.

3.  З урахуванням специфіки процесного підходу надано методику виділення ключових показників, що описують взаємодію між процесами СУЯ. Це дозволяє оптимізувати загальну систему показників і робить більш ефективним контроль і управління процесами, з яких складається діяльність організації. Запропоновано наочний інструмент для опису взаємозв”язків між процесами СУЯ за допомогою інформаційного графу системи показників та матриці суміжності.

4.  Проведено аналіз існуючих статистичних методів. Надано рекомендації щодо використання таких методів, як описова статистика, регресійний аналіз, імітаційне моделювання в процесі моніторингу за функціонуванням СУЯ ВНЗ. При цьому результати статистичного аналізу використовують в першу чергу для запобігання виникненню невідповідностей, а не тільки виправленню виявлених.

5.  Запропоновані підходи до побудови системи моніторингу ВНЗ, використання статистичних методів є універсальними і можуть бути застосовані організаціями різних сфер і напрямів діяльності, які впроваджують і підтримують у належному стані СУЯ.

Список використаної літератури

1. Н. Гуськова, И. Макаркин, Т. Салимова Мониторинг качества образования. htpp://ISO9000.by.ru

2. І. Посохова, О. Авер”янова Система моніторингу в інженерно-педагогічному ВНЗ. Новий колегіум, 2003 №1 стор. 19-21

3. В. Шкарин, Г. Буланов Внутривузовское управление качеством обучения Высшее образование в России, 2002 №5 стр. 29-33

4. Д.С. Карпенко, О.М. Карпенко, Е.И. Шлихунова Автоматизированная система мониторинга – эффективное усвоение знаний и качества тестовых заданий Информатизация образования, 2001 №2 стр. 69-85

5. Н. Лосєва Тестування в умовах багаторівневої підготовки фахівців у вищій школі Освіта і управління, 2002 №4 стор. 150-156

6. Н. Березанская, В. Шурков, Л. Химичева, К. Хвостов разработка системы психологического обследования и мониторинга универсальных умений в целях аттестации и подбора персонала. Развитие личности, 2002 №2 стр. 136-156

7. В. Нуждин, Г. Каданцева Стратегическое управление качеством образования Высшее образование сегодня, 2003 №5 стр.6-10

8. Е. Барахсанова Педагогическая оценка готовности студентов к творческой деятельности Стандарты и качество, 2003 №8 стр. 96-98

9. О. Горленко, В. Лобеева, Т. Можаева Повышение качества преподавания лекционных курсов на основе мониторинга исходной и текущей подготовки студентов Качество, инновации, образование, 2002 №3 стр. 34-38

10. Стандарт ДСТУ ISO 9001-2001 Системи менеджменту якості

11. Стандарт ДСТУ ISO 9004-2001 Системи менеджменту якості – Настанови щодо поліпшення показників

12. Л. Віткін Особливості застосування стандартів ISO 9000 у ВНЗ

13. Л. Віткін, Г. Хімічева Методика оцінювання якості ключових процесів підготовки випускника ВНЗ. Вісник Київського університету технологій та дизайну 2004 №1 стор. 123-128

14. ISO 19011:2002 Настанови стосовно аудиту систем управління якістю та/чи навколишнім середовищем

15. ISO/TR 10017 Guidance on statistical techniques for ISO 9001:2000, ISO 2003 page 26

16. Л. Віткін Економічні аспекти управління якістю

17. М. Ханна Управління виробництвом з метою задоволення споживача Київ, 2003, 225 с.

18. Л. Віткін Інформаційна модель супроводження системи якості ВНЗ

19. Г. Закаменных, Ю.Малюгин Поступательное движение от ГОСТ

ИСО 9001 – 96 к ГОСТ Р ИСО 9001 – 2001 Стандарты и качество, 2003 №8 стр. 62-65

20. Б.Иванов Оценка образовательного процеса на кафедре, Стандарты и качество, 2003 №8 стр. 94-95

21. Глудкин О.П., Горбунов Н.М., Гуров А.И.. Зорин Ю.В. Всеобщее управление качеством. Total Quality Management (TQM).- М.: Горячая линия - Телеком, 2001. – 599 с.

22. С.Б. Вардеман, Дж.М. Джоут, Статистичні методи забезпечення якості. Видавничий центр Київського національного торговельно-економічного університету, 2003. – 254 с.

23. R. Peach, B. Peach, O. Ritter The six sigma, Memory Jogger II, GOAL/QPC, 2000 page 165

24. Р.Б. Чейз, Н. Дж. Эквилайн, Р.Ф. Якобс Производственный и операционный менеджмент. Издательский дом “Вильямс”, - Москва – Санкт-Петербург – Киев: 2001. - 704 с.

25. С. Соломин Статистические методы как инструмент менеджмента в ВУЗе Качество, инновации, образование, 2002 №3 стр. 17-33