10.8 Вид деятельности «Тестирование»

Цель данного вида деятельности состоит в том, чтобы путем независимого тестирования подмножества ФБО установить, ведет ли себя ОО как предписано в проектной документации и в соответствии с функциональными требованиями безопасности ОО, определенными в ЗБ.

10.8.1 Замечания по применению

Объем и состав подмножества тестов оценщика зависят от нескольких факторов, рассматриваемых в подвиде деятельности «Независимое тестирование» (ATE_IND.1 «Независимое тестирование на соответствие»). Один из таких факторов, оказывающих влияние на состав подмножества тестов, — это известные из общедоступных источников слабые места, к информации о которых оценщику необходимо получить доступ (например, в рамках системы оценки).

Для разработки тестов оценщик должен понять ожидаемый режим выполнения функций безопасности применительно к требованиям, которым они должны удовлетворять. Оценщик может предпочесть анализировать функции безопасности ФБО поочередно, рассматривая конкретное требование ЗБ, а также — соответствующие части функциональной спецификации и документации руководств для понимания ожидаемого режима функционирования ОО.

10.8.2 Оценка путем независимого тестирования (ATE_IND.1)

10.8.2.1 Цели

Цель данного подвида деятельности состоит в том, чтобы путем независимого тестирования подмножества ФБО определить, функционирует ли ОО в соответствии с тем, как определено в спецификациях.

10.8.2.2 Исходные данные

Свидетельствами оценки для данного подвида деятельности являются:

a) ЗБ;

b) функциональная спецификация;

c) руководство пользователя;

d) руководство администратора;

e) процедуры безопасной установки, генерации и запуска;

f) ОО, пригодный для тестирования.

10.8.2.3 Действие ATE_IND.1.1E

10.8.2.3.1 Шаг оценивания 1:ATE_IND.1-1

ИСО/МЭК 15408-3 ATE_IND.1.1C: ОО должен быть пригоден для тестирования.

Оценщик должен исследовать ОО, чтобы сделать заключение, согласуется ли тестируемая конфигурация с оцениваемой конфигурацией, определенной в ЗБ.

ОО, используемый оценщиком для тестирования, должен иметь ту же самую уникальную маркировку, которая установлена в соответствии с подвидом деятельности АСМ_САР.1 «Номера версий».

В ЗБ может быть определено более одной подлежащей оценке конфигурации. ОО может состоять из ряда различных аппаратных и программных реализаций, которые подлежат тестированию в соответствии с ЗБ. Тестируемые оценщиком конфигурации ОО должны быть согласованы соответственно с каждой из оцениваемых конфигураций, описанных в ЗБ.

Оценщику следует рассмотреть описанные в ЗБ предположения относительно аспектов безопасности среды ОО, которые могут относиться к среде тестирования. В ЗБ могут быть и другие предположения, которые не относятся к среде тестирования. Например, предположение относительно допусков пользователей не относится к среде тестирования, а предположение относительно единой точки подключения к сети относится к среде тестирования.

При использовании любых средств тестирования (например, измерителей, анализаторов) обеспечить правильную калибровку этих средств будет обязанностью оценщика.

10.8.2.3.2 Шаг оценивания 1:ATE_IND.1-2

Оценщик должен исследовать ОО, чтобы сделать заключение, правильно ли он установлен и находится ли в состоянии, которое известно.

Оценщик имеет возможность сделать заключение о состоянии ОО несколькими способами. Например, предшествующее успешное завершение подвида деятельности ADO_IGS.1 «Процедуры установки, генерации и запуска» позволит считать выполненным данный шаг оценивания, если оценщик все еще уверен, что тестируемый ОО был должным образом установлен и находится в известном состоянии. Если это не так, то оценщику рекомендуется следовать процедурам разработчика, чтобы установить, сгенерировать и запустить ОО, используя только поставляемое руководство.

Если оценщику приходится выполнить процедуры установки вследствие того, что ОО находится в неизвестном состоянии, то при успешном завершении данный шаг оценивания мог бы удовлетворить шаг оценивания ADO_IGS.1-2.

10.8.2.4 Действие ATE_IND.1.2E

10.8.2.4.1 Шаг оценивания 1:ATE_IND.1-3

Оценщик должен определить тестируемое подмножество ФБО.

Оценщик выбирает тестируемое подмножество и стратегию тестирования, приемлемую для ОО. Одна, крайняя, стратегия тестирования предусматривает наличие тестируемого подмножества ФБО, содержащего как можно большее число функций безопасности, тестируемых с небольшой строгостью. Другая стратегия тестирования предусматривает наличие тестируемого подмножества, содержащего небольшое число функций безопасности, исходя из их осознанной значимости, и строгое тестирование этих функций.

Как правило, стратегия тестирования, принятая оценщиком, должна находиться где-то между этими двумя крайностями. Оценщику следует проверить выполнение большинства определенных в ЗБ функциональных требований безопасности, используя, по крайней мере, один тест для каждого требования, но при этом нет необходимости, чтобы тестирование продемонстрировало исчерпывающую проверку спецификаций.

При выборе подмножества тестируемых ФБО оценщику необходимо рассмотреть следующие факторы:

a) число функций безопасности, из которых необходимо сформировать тестируемое подмножество. В тех случаях, когда у ОО только небольшое число функций безопасности, может быть практичным строгое тестирование всех функций безопасности. Для ОО с большим числом функций безопасности это будет нерентабельно и потребуется осуществление выборки;

b) поддержание некоторого баланса между видами деятельности по оценке. Тестирование, как правило, занимает 20 % — 30 % усилий оценщика в течение оценки.

Оценщик выбирает определенные функции безопасности для формирования соответствующего подмножества. Этот выбор будет зависеть от ряда факторов, и рассмотрение этих факторов также может влиять на выбор размера тестируемого подмножества ФБО:

a) известные из общедоступных источников слабые места безопасности, обычно ассоциируемые с конкретным типом ОО (например, с операционной системой, межсетевым экраном). Известные из общедоступных источников слабые места, ассоциируемые с конкретным типом ОО, будут влиять на процесс выбора тестируемого подмножества. Оценщику следует включить в тестируемое подмножество те функции безопасности, которые связаны с известными из общедоступных источников слабыми местами для данного типа ОО (известные из общедоступных источников слабые места в данном случае относятся не к уязвимостям как таковым, а к несоответствиям или проблемным вопросам, которые были обнаружены для данного конкретного типа ОО). Если такие слабые места неизвестны, то может быть более приемлемым более общий подход, связанный с выбором широкого диапазона функций безопасности;

b) значимость функций безопасности. Те функции безопасности, которые более значимы, чем другие, с точки зрения целей безопасности для ОО, должны быть включены в тестируемое подмножество;

c) сложность функции безопасности. Для сложных функций безопасности может потребоваться выполнение сложных тестов, налагающих обременительные требования на разработчика или оценщика, которые, в свою очередь, не будут способствовать экономичным оценкам. С другой стороны, сложные функции безопасности - это вероятная область поиска ошибок и подходящие кандидаты для включения в подмножество. Оценщику необходимо достигнуть баланса между этими соображениями;

d) неявное тестирование. Тестирование некоторых функций безопасности может зачастую сопровождаться неявным тестированием других функций безопасности, и их включение в подмножество может максимизировать (хотя и не в явном виде) число тестируемых функций безопасности. Некоторые интерфейсы могут обеспечивать несколько функциональных возможностей безопасности, и их следует сделать объектом эффективного подхода к тестированию;

e) типы интерфейсов ОО (например, программный интерфейс, командная строка, протокол). Оценщику следует рассмотреть возможность включения тестов для всех различных типов интерфейсов, которые поддерживает данный ОО;

f) инновационные или необычные функции/ В тех случаях, когда в ОО включены инновационные или необычные функции безопасности, которые могут широко быть представлены в маркетинговой литературе, они должны быть прямыми кандидатами на тестирование.

Выше сформулированы факторы, которые необходимо рассмотреть в процессе выбора приемлемого тестируемого подмножества ФБО, но они ни в коем случае не являются исчерпывающими.

Руководство по выборке см. в А.2 «Выборка» (приложение А).

10.8.2.4.2 Шаг оценивания 1:ATE_IND.1-4

Оценщик должен разработать тестовую документацию для тестируемого подмножества ФБО, детализация которой достаточна, чтобы обеспечить воспроизводимость тестов.

Установив из ЗБ и функциональной спецификации ожидаемый режим выполнения функции безопасности, оценщик должен определить наиболее подходящий способ тестирования данной функции. Оценщик, в особенности, рассматривает:

a) подход, который будет использован, например, будет ли функция безопасности протестирована через внешний интерфейс, внутренний интерфейс с использованием каких-либо средств автономного тестирования или будет применен альтернативный тестированию подход (например, в исключительных обстоятельствах — экспертиза кода);

b) интерфейс(ы) функции безопасности, который(е) будет(ут) использован(ы) для инициирования выполнения функции безопасности и наблюдения ее реакции;

c) начальные условия, которые будут необходимы для выполнения теста (т.е. любые конкретные объекты или субъекты, которые будут необходимы, и атрибуты безопасности, которые им необходимо будет иметь);

d) специальное оборудование для тестирования, которое потребуется либо для инициирования функции безопасности (например, генераторы пакетов), либо для наблюдения за функцией безопасности (например, сетевые анализаторы).

Оценщик может посчитать практичным тестировать каждую функцию безопасности с помощью ряда наборов тестов, где каждый набор тестов будет использован для тестирования конкретного режима выполнения функции безопасности.

В тестовой документации оценщика следует определить происхождение каждого теста, прослеживая его к соответствующей спецификации проекта и, если необходимо, к ЗБ.

10.8.2.4.3 Шаг оценивания 1:ATE_IND.1-5

Оценщик должен провести тестирование.

Оценщик использует разработанную тестовую документацию как основу для тестирования ОО, но это не мешает ему выполнить дополнительные специальные тесты. Оценщик может разработать новые тесты исходя из режима функционирования ОО, обнаруженного в процессе тестирования. Эти новью тесты должны быть внесены в тестовую документацию.

10.8.2.4.4 Шаг оценивания 1:ATE_IND.1-6

Оценщик должен зафиксировать следующую информацию о тестах, которые составляют подмножество тестов:

a) идентификационную информацию тестируемого режима выполнения функции безопасности;

b) инструкции по подключению и настройке всего необходимого оборудования для тестирования, как это требуется для выполнения конкретного теста;

c) инструкции по установке всех предварительных условий выполнения теста;

d) инструкции по инициированию функции безопасности;

e) инструкции по наблюдению режима выполнения функции безопасности;

f) описание всех ожидаемых результатов и необходимого анализа, проводимого по отношению к наблюдаемому режиму выполнения для сравнения с ожидаемыми результатами;

g) инструкции по завершению теста и установке необходимого посттестового состояния ОО;

h) фактические результаты тестирования.

Уровень детализации должен быть таким, чтобы другой оценщик мог повторить тесты и получить эквивалентный результат. Хотя некоторые специфические детали результатов выполнения теста могут различаться (например, поля времени и даты в записи аудита), общие результаты должны быть идентичными.

Возможны случаи, когда нет необходимости предоставлять всю информацию, приведенную на этом шаге оценивания (например. фактические результаты тестирования могут не требовать какого-либо анализа до их сравнения с ожидаемыми результатами). Решение опустить эту информацию, как и его логическое обоснование, остается за оценщиком.

10.8.2.4.5 Шаг оценивания 1:ATE_IND.1-7

Оценщик должен проверить, что все фактические результаты тестирования согласуются с ожидаемыми результатами тестирования.

Любые различия в фактических и ожидаемых результатах тестирования могут свидетельствовать либо о том, что ОО не функционирует в соответствии со спецификацией, либо о том, что тестовая документация оценщика может быть некорректной. Не соответствующие ожидаемым фактические результаты тестирования могут потребовать внесения корректив в ОО или тестовую документацию, а также повторного выполнения вызвавших коллизию тестов, модификации размера и состава выборки тестов. Это решение, как и его логическое обоснование, остается за оценщиком.

10.8.2.4.6 Шаг оценивания 1:ATE_IND.1-8

Оценщик должен привести в ТОО информацию об усилиях по тестированию, кратко изложив подход к тестированию, тестируемую конфигурацию, глубину и результаты тестирования.

Информация оценщика о тестировании, приводимая в ТОО, позволяет оценщику передать общий подход к тестированию и усилия, затраченные в течение оценки на вид деятельности по тестированию. Смысл предоставления данной информации состоит в том, чтобы привести содержательный краткий обзор усилий по тестированию. Не имеется в виду, чтобы информация о тестировании в ТОО была точным воспроизведением конкретных шагов тестирования или результатов отдельных тестов. Целью является предоставить достаточные подробности, чтобы позволить другим оценщикам и сотрудникам органов оценки получить некоторое понимание выбранного подхода к тестированию, объема выполненного тестирования, тестируемых конфигураций ОО и общих результатов вида деятельности по тестированию.

Информация об усилиях оценщика по тестированию, которую обычно можно найти в соответствующем разделе ТОО, включает в себя:

a) тестируемые конфигурации ОО. Конкретные конфигурации ОО, подвергнутые тестированию;

b) выбранный размер подмножества. Число протестированных в течение оценки функций безопасности и логическое обоснование этого размера;

c) критерии выбора для функций безопасности, которые составляют тестируемое подмножество. Краткое изложение факторов, рассмотренных при отборе функций безопасности для включения в подмножество;

d) протестированные функции безопасности. Краткий перечень функций безопасности, обоснованно включенных в подмножество;

e) вердикт по виду деятельности. Общий вывод по результатам тестирования, проведенного в течение оценки.

Приведенный перечень ни в коем случае не является исчерпывающим и предназначен только для того, чтобы дать некоторое представление о типе информации, касающейся тестирования, выполненного оценщиком в течение оценки, которую следует представить в ТОО.

Далее >>>