Разработка верхнего уровня Информационной Системы Университета

q — вероятность обнаружения ошибки в каждом из т тестов, рассчитанная

по формуле:

[pic], (58)

S - общее количество искусственно внесенных ошибок;

N-количество собственных ошибок, имеющихся в ПС до начала

тестирования.

Для использования модели Лилова должны выполняться следующие условия:

N(n(0;

S(V(0; (59)

m(n+V(0.

Оценки максимального правдоподобия (наиболее вероятное значение) для N

задаются соотношениями:

[pic] при n(1, V(1;

N = [pic] при V = 0; (60)

0 при n = 0.

Модель Лилова дополняет модель Миллса, дав возможность оценить

вероятность обнаружения определенного количества ошибок к моменту оценки.

Простая интуитивная модель. Использование этой модели предполагает

проведение тестирования двумя группами программистов (или двумя

программистами в зависимости от величины программы) независимо друг от

друга, использующими независимые тестовые наборы. В процессе тестирования

каждая из групп фиксирует все найденные ею ошибки. При оценке числа

оставшихся в программе ошибок результаты тестирования обеих групп

собираются и сравниваются.

Получается, что первая группа обнаружила N1 ошибок, вторая – N2, а N12

- это ошибки, обнаруженные обеими группами.

Если обозначить через N неизвестное количество ошибок,

присутствовавших в программе до начала тестирования, то можно эффективность

тестирования каждой из групп определить как:

[pic]; [pic]. (61)

Предполагая, что возможность обнаружения всех ошибок одинакова для

обеих групп, можно допустить, что, если первая группа обнаружила

определенное количество всех ошибок, она могла бы определить то же

количество любого случайным образом выбранного подмножества. В частности,

можно допустить, что:

[pic]. (62)

[pic]

Из формулы (25) N2 = Е2N, подставив в (26), получим:

[pic], (63)

или

[pic]. (64)

Значение N12 известно, а E1 и E2 можно определить как N12/N1 и N12/N1.

Развивая эту модель и опираясь на предположение, что обе группы, проводящие

тестирование, имеют равную вероятность обнаружения "общих" ошибок, ее можно

рассчитать по следующей формуле:

[pic] , (65)

где Р(N12) — вероятность обнаружения N12 "общих" ошибок тестирования

программы двумя независимыми группами.

Модель Коркорэна. Модель Коркорэна относится к статическим моделям

надежности ПС, так как в ней не используются параметры времени тестирования

и учитывается только результат N испытаний, в которых выявлено N1 ошибок i-

го типа. Модель использует изменяющиеся вероятности отказов для различных

типов сшибок.

В отличие от двух рассмотренных выше статических моделей, где

оценивалось количество первоначальных ошибок в программе, а также их

количество, оставшееся после некоторого периода тестирования, по модели

Коркорэна оценивается вероятность безотказного выполнения программы на

момент оценки.

[pic], (66)

где N0 — число безотказных выполнений программы;

N — общее число прогонов;

К — априориорно известное число типов

ai, если Ni>0;

Yi=

(67)

0, если Ni = 0;

ai — вероятность выявления при тестировании ошибки 1-го типа.

В этой модели вероятность ai, должна оцениваться на основании

априорной информации или данных предшествующего периода функционирования

однотипных программных средств. Наиболее часто встречающиеся ошибки и

вероятности их выявлений при тестировании ПС прикладного назначения

приводятся в таблице 13 (пример).

Таблица 13 - Ошибки программы по категориям и вероятности их появления

|Тип ошибки |Вероятность |

| |появления ошибки |

|Ошибки вычислений |0,09 |

|Логические ошибки |0,26 |

|Ошибки ввода-вывода |0,16 |

|Ошибки манипулирования данными |0,18 |

|Ошибки сопряжения |0,17 |

|Ошибки определения данных |0,08 |

|Ошибки в БД |0,06 |

Модель Нельсона. Данная модель была создана в фирме TRW

(аэрокосмическая компания США), при расчете надежности ПС учитывает

вероятность выбора определенного тестового набора для очередного выполнения

программы.

Предполагается, что область данных, необходимых для выполнения

тестирования программного средства, разделяется на К взаимоисключающих

подобластей Zi, i= 1,2, .... k. Пусть Рi - вероятность того, что набор

данных Zi будет выбран для очередного выполнения программы. Предполагая,

что к моменту оценки надежности было выполнено Ni прогонов программы на Zi

наборе данных и из них ni, количество прогонов закончилось отказом,

надежность ПС в этом случае равна:

[pic]. (68)

На практике вероятность выбора очередного набора данных для прогона

(Рi) определяется путем разбиения всего множества значений входных данных

на подмножества и нахождения вероятностей того, что выбранный для

очередного прогона набор данных будет принадлежать конкретному

подмножеству. Определение этих вероятностей основано на эмпирической оценке

вероятности появления тех или иных входов в реальных условиях

функционирования.

10.4. Эмпирические модели надежности

Эмпирические модели в основном базируются на анализе структурных

особенностей программного средства (или программы). Как указывалось ранее,

эмпирические модели часто не дают конечных результатов показателей

надежности, однако их использование на этапе проектирования ПС полезно для

прогнозирования требующихся ресурсов тестирования, уточнения плановых

сроков завершения проекта и т.д.

Модель сложности. В литературе неоднократно подчеркивается тесная

взаимосвязь между сложностью и надежностью ПС. Если придерживаться

упрощенного понимания сложности ПС, то она может быть описана такими

характеристиками, как размер ПС (количество программных модулей),

количество и сложность межмодульных интерфейсов.

Под программным модулем в данном случае следует понимать программную

единицу, выполняющую определенную функцию (ввод, вывод, вычисление и т.д.)

и взаимосвязанную с другими модулями ПС.

Некоторые базовые понятия для определения характеристик сложности даны

в таблице 14.

Сложность модуля ПС может быть описана, если рассматривать структуру

программы как последовательность узлов, дуг и петель в виде направленного

графа.

Таблица 14 - Определение характеристик сложности

|Связь |Для модуля |Для ПС (многомодульная программа) |

|Узел |Точка ветвления модуля |Модуль, имеющий более одного выхода|

| | | |

| | | |

| | | |

| | | |

| | | |

|Дуга |Последовательные участки |Последовательность нескольких |

| |модуля |модулей, имеющих один выход |

|Петля |Циклические участки модуля |Циклические участки, состоящие из |

| | |нескольких модулей |

В качестве структурных характеристик модуля ПС используются:

1) отношение действительного числа дуг к максимально возможному числу

дуг, получаемому искусственным соединением каждого узла с любым другим

узлом дугой;

2) отношение числа узлов к числу дуг;

3) отношение числа петель к общему числу дуг.

Для сложных модулей и для больших многомодульных программ составляется

имитационная модель, программа которой "засоряется" ошибками и тестируется

по случайным входам. Оценка надежности осуществляется по модели Миллса.

При проведении тестирования известна структура программы, имитирующей

действия основной, но не известен конкретный путь, который будет

выполняться при вводе определенного тестового входа. Кроме того, выбор

очередного тестового набора из множества тест-входов случаен, т.е. в

процессе тестирования не обосновывается выбор очередного тестового входа.

Эти условия вполне соответствуют реальным условиям тестирования больших

программ.

Полученные данные анализируются, проводится расчет показателей

надежности по модели Миллса (или любой другой из описанных выше), и

считается, что реальное ПС, выполняющее аналогичные функции, с подобными

характеристиками и в реальных условиях должно вести себя аналогичным или

похожим образом.

Преимущества оценки показателей надежности по имитационной модели,

создаваемой на основе анализа структуры будущего реального ПС, заключаются

в следующем:

модель позволяет на этапе проектирования ПС принимать оптимальные проектные

решения, опираясь на характеристики ошибок, оцениваемые с помощью

имитационной модели;

позволяет прогнозировать требуемые ресурсы тестирования;

дает возможность определить меру сложности программ и предсказать возможное

число ошибок и т.д.

К недостаткам можно отнести высокую стоимость метода, так как он

требует дополнительных затрат на составление имитационной модели, и

приблизительный характер получаемых показателей.

Модель, определяющая время доводки программ. Эта модель используется

для ПС, которые имеют иерархическую структуру, т.е. ПС как система может

содержать подсистемы, которые состоят из компонентов, а те, в свою очередь,

состоят из V модулей. Таким образом, ПС может иметь V различных уровней

композиции. На любом уровне иерархии возможна взаимная зависимость между

любыми парами объектов системы. Все взаимозависимости рассматриваются в

терминах зависимости между парами модулей.

Анализ модульных связей строится на том, что каждая пара модулей имеет

конечную (возможно, нулевую) вероятность, что изменения в одном модуле

вызовут изменения в другом модуле.

Пусть ПС состоит из n модулей.

Рij есть вероятность того, что изменения в модуле вызовут

необходимость внесения изменений в модуль;.

Для ПС, состоящего из n модулей, будет ne таких парных отношений.

Р - матрица размерностью n * т с элементами Рij. Допустим, что при

тестовой сборке ПС в i-м модуле выявлено Аi, ошибок, или в модуле i должно

быть сделано Аi изменений.

Обозначим через А вектор размерностью n с элементами Аi,. Тогда А -

общее число изменений, требуемых при интеграции модулей в систему на

нулевом шаге.

Общее число изменений на первом шаге, требуемых в результате

изменений, сделанных на нулевом шаге, будет равно А * Р.

Обозначим через Р2 матрицу размерностью n * m, элементы которой равны:

[pic], (69)

и представляют собой сумму вероятностей, что изменения в модуле i

распространяются в модуль К и затем в модуль j. Следовательно, i-й, и j-й

элементы матрицы Р2 - это двушаговая вероятность, что изменение в модуле ш

распространится в модуль j.

Общее число изменений ПС с учетом двушагового распространения будет

равно А * Р2. Очевидно, что число изменений, требуемых в системе, с учетом

k-шагового распространения начальных изменений будет равно А * Рk..

Величины, которые используются в модели для получения нужных оценок, -

это вектор начальных изменений А и матрица вероятности межмодульных связей

Р. По мере развития проекта ПС эти величины могут уточняться при появлении

реальных данных тестирования. Значения элементов вектора А становятся

очевидными при присоединении очередного модуля к системе в процессе

тестовой сборки.

Для уточнения элементов матрицы достаточно фиксировать для каждого

модуля данные о проведенных изменениях, их причинах и последствиях в форме

следующей таблицы (см. табл. 15).

Таблица 15- Сбор данных, необходимых для расчета матрицы вероятностей р

|Описание ошибки |Каким модулем вызвана |Действие на другие модули |

| | | |

После получения относительно большой выборки данных их можно

использовать для коррекции элементов матрицы Р следующим образом:

Число измерений в модуле i, вызванных модулем j

Pij =

. (70)

Общее число измерений в модуле j

Рассмотренная модель позволяет на этапе тестирования, а точнее при

тестовой сборке системы, определять возможное число необходимых исправлений

и время, необходимое для доведения ПС до рабочего состояния.

Основываясь на описанной процедуре оценки общего числа изменений,

требуемых для доводки ПС, можно построить две различные стратегии

корректировки ошибок:

фиксировать все ошибки в одном выбранном модуле и устранить все побочные

эффекты, вызванные изменениями этого модуля, отрабатывая таким образом

последовательно все модули;

фиксировать все ошибки нулевого порядка в каждом модуле, затем фиксировать

все ошибки первого порядка и т.д.

Исследование этих стратегий доказывает, что время корректировки ошибок

на каждом шаге тестирования определяется максимальным числом изменений,

вносимых в ПС на этом шаге, а общее время - суммой максимальных времен на

каждом шаге.

Это подтверждает известный факт, что тестирование обычно является

последовательным процессом и обладает значительными возможностями для

параллельного исправления ошибок, что часто приводит к превышению

затрачиваемых на него ресурсов над запланированными.

10.5. Количественный расчет надежности

Для количественной оценки надежности был выбран метод La Padula, так

как он позволяет вычислить прогнозное значение надежности.

Для расчета надежности был реализован алгоритм Процедура обработки

объявления (Processing). Данный модуль был протестирован в 3 этапа по 10

тестов в каждом. Количественный расчет делался в пакете Mathcad, и имеет

следующий вид:

Si - число тестов на этапе;

mi - число отказов на i-ом этапе;

m - число этапов;

Rf - предельное значение надежности;

A - параметр роста;

R(i)=Rf-A/i - надежность на i-ом этапе.

[pic]

[pic]

[pic] [pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

[pic]

График надежности представлен на рисунке 35.

График надежности

[pic]

Рис. 35

Из графика видно, что в процессе проведенных тестов прогнозируемое

значение надежности приближается к 1.

Заключение

В результате выполненной работы была спроектирована полномасштабная

функциональная схема верхнего уровня Информационной Системы Университета

обеспечивающая качественный и оперативный вывод информации. Верхний уровень

системы не зависит от топологии нижнего уровня, что увеличивает гибкость

системы и обеспечивает размещение устройств вывода в любой точке

университетского городка, это позволяет охватить все учебные корпуса АмГУ

и обеспечивает донесение необходимой информации до конечных потребителей

информации в минимальный срок.

Спроектирована схема положения ИСУ в существующей системе передачи

информации и схема взаимодействия основных частей ИСУ. Разработаны и

описаны все информационные массивы участвующие в функционировании верхнего

уровня. При этом большой акцент сделан на уменьшение избыточности данных.

Также ИСУ исключает возможность ввода данных способных выработаться внутри

нее.

Представлено полное описание функционирования верхнего уровня с

разработанными алгоритмами, обеспечивающими уменьшение времени реакции на

возникновение какого либо события, сохранение всей статистической

информации о функционировании системы для ее последующего анализа.

Обеспечено однозначное реагирование на любое событие, возникшее в системе,

это достигнуто за счет детальной проработки всех возможных ситуаций

способных возникнуть как на верхнем, так и на нижнем уровне ИСУ. С позиции

обеспечения надежности системы была введена некоторая избыточность данных,

Страницы: 1, 2, 3, 4, 5, 6, 7, 8