А.2 Выборка

Настоящий раздел содержит общие указания по осуществлению выборки. Конкретная и подробная информация дана в тех шагах оценивания, соответствующих определенным элементам действий оценщика, где выборку необходимо выполнить.

Выборка — это определенная процедура, выполняемая оценщиком, посредством которой некоторое подмножество требуемой совокупности свидетельств оценки исследуют и полагают репрезентативным (представительным) для совокупности в целом. Это позволяет оценщику получить достаточную уверенность в правильности конкретного свидетельства оценки без его анализа в полном объеме. Выборку проводят для экономии ресурсов при поддержании адекватного уровня доверия. Выборка из свидетельства может приводить к двум результатам:

a) на подмножестве не обнаружено никаких ошибок, что дает оценщику определенную уверенность в том, что совокупность в целом корректна;

b) на подмножестве найдены ошибки, и поэтому правильность совокупности в целом подвергается сомнению. Даже устранение всех обнаруженных ошибок может оказаться недостаточным для получения оценщиком необходимой уверенности, и поэтому оценщику придется либо увеличить размер подмножества, либо прекратить использование выборки для этого конкретного свидетельства.

Выборка — это метод, который может быть использован для получения заслуживающих доверия выводов, когда состав свидетельства относительно однороден по существу, например, если свидетельство является результатом полностью определенного процесса.

В ИСО/МЭК 15408 определены следующие элементы действий оценщика, для которых заведомо применима выборка.

a) ADV_RCR.3.2E: «Оценщик должен сделать независимое заключение о правильности доказательств соответствия, избирательно верифицируя формальный анализ».

b) ATE_IND.*.2E: «Оценщик должен протестировать подмножество ФБО как необходимо, чтобы подтвердить, что ОО функционирует в соответствии со спецификациями».

c) ATE_IND.2.3E: «Оценщик должен выполнить выборку тестов из тестовой документации, чтобы верифицировать результаты тестирования, полученные разработчиком».

d) AVA_CCA.*.3E: «Оценщик должен выборочно подтвердить правильность результатов анализа скрытых каналов, применяя тестирование».

e) AVA_MSU.2.2E и AVA_MSU.3.2E: «Оценщик должен повторить все процедуры конфигурирования и установки и выборочно другие процедуры для подтверждения, что ОО можно безопасно конфигурировать и использовать, применяя только представленные руководства».

Кроме того, в ADV_IMP.1.1D содержится требование, чтобы разработчик обеспечил представление реализации только для подмножества ФБО. Выборку подмножества ему следует согласовать с оценщиком. Предоставление разработчиком выборки представления реализации позволяет оценщику как оценить непосредственно предоставленное представление реализации, так и выборочно проверить свидетельство прослеживания требований безопасности в представлениях проекта ОО, чтобы получить уверенность в соответствии между проектом нижнего уровня и представлением реализации.

В дополнение к выборке, предусмотренной в ИСО/МЭК 15408, настоящий стандарт определяет следующие действия, для которых выборка применима:

a) Действие АСМ_САР.*.1Е: «Оценщик должен подтвердить, что представленная информация удовлетворяет всем требованиям к содержанию и представлению свидетельств».

В этом случае выборка применима для элементов содержания и представления свидетельств АСМ_САР.*.8С и АСМ_САР.*.9С для ОУД3 и ОУД4.

b) Действие ATE_FUN.1.1E: «Оценщик должен подтвердить, что представленная информация удовлетворяет всем требованиям к содержанию и представлению свидетельств».

В этом случае выборка применима для элементов содержания и представления свидетельств ATE_FUN.1.3C, ATE_FUN.1.4C и ATE_FUN.1.5C для ОУД2, ОУД3 и ОУД4.

c) Действие ALC_DVS.1.1E: «Оценщик должен подтвердить, что представленная информация удовлетворяет всем требованиям к содержанию и представлению свидетельств».

В этом случае выборка применима для элементов содержания и представления свидетельств ALC_DVS.1.2C для ОУД3 и ОУД4.

Выборка в случаях, указанных в ИСО/МЭК 15408 или специально предусмотренных в шагах оценивания методологии, признается как экономичный подход к действиям, выполняемым оценщиком. Выборка в других областях разрешается только в исключительных случаях, там, где выполнение конкретного вида деятельности в цепом потребовало бы усилий, непропорциональных другим видам деятельности, и где оно не повысило бы соответственно доверие. В таких случаях потребуется обоснование применения выборки в этой области. Ни тот факт, что ОО является объемным и сложным, ни то, что он имеет много функциональных требований безопасности, не является достаточным обоснованием, так как при оценке объемных и сложных ОО как раз и могут потребоваться большие усилия. Скорее предполагается, что это исключение ограничивается такими случаями, когда подход к разработке ОО дает большое количество материала для конкретного требования ИСО'МЭК 15408, который обычно весь требуется проверить или исследовать, и когда не ожидается, что такое действие повысит соответственно степень доверия.

Выборка нуждается в логическом обосновании, учитывая возможное влияние на цели безопасности и угрозы ОО. Влияние зависит от того, что может быть пропущено в результате выборки. Необходимо также учитывать характер свидетельства, проверяемого выборочно, и требование не игнорировать любые функции безопасности и не снижать их роль.

Следует признать, что выборка из свидетельства, прямо связанного с реализацией ОО (например, результатов теста разработчика), требует подхода, отличного от применяемого при выборке, связанного с вынесением заключения, правильно ли был выполнен процесс. Во многих случаях, когда от оценщика требуется определить, что процесс действительно выполняется, рекомендуется стратегия выборки. Подход здесь отличается от применяемого при выборке результатов тестирования разработчиком, потому что в первом случае речь идет об уверенности в том, что процесс выполняется, а во втором — с определением корректности реализации ОО. Как правило, более объемные выборки должны быть проанализированы в случаях, связанных с правильной реализацией ОО, чем с необходимостью удостовериться, что процесс выполняется.

При выборке рекомендуется соблюдать нижеприведенные принципы:

a) объем выборки следует сопоставить с эффективностью затрат на проведение оценки, он зависит от некоторых характеристик ОО (например, от размеров и сложности ОО, от объема документации), но минимальный объем в 20 % следует принять за норму для выборки из материалов, относящихся к реализации ОО. Там, где выборку осуществляют для получения свидетельства выполнения некоторого процесса (например, контроля посетителей или анализа проекта), задание определенного процента не применяют. Оценщику следует выбрать объем информации, достаточный для получения приемлемой уверенности в выполнении процесса и логически обосновать объем выборки;

b) следует, чтобы выборка была репрезентативна по всем факторам, относящимся к областям применения выборки. В частности, следует, чтобы выборка охватила все разнообразие компонентов, функций безопасности, мест разработки и эксплуатации (если их несколько) и типов аппаратных платформ (если их несколько):

c) заявителя и разработчика не следует заблаговременно информировать о точном составе выборки. При этом следует учитывать необходимость обеспечения своевременности поставки выборки и вспомогательных материалов, например комплексов тестовых программ и оборудования, оценщику в соответствии с графиком проведения оценки;

d) следует, чтобы отбор при выборке по возможности был непредвзятым (не стоит выбирать всегда только первый или последний номер в списке). В идеале отбор следует поручить не оценщику, а кому-го другому.

Ошибки, найденные в выборке, могут быть отнесены к двум категориям — систематическим или случайным. Если ошибка систематическая, следует устранить ее причину и полностью выполнить новую выборку. При надлежащем объяснении разработчика вопрос о случайных ошибках может быть решен без проведения новой выборки, хотя такое объяснение следует подтвердить. Оценщику следует руководствоваться здравым смыслом при определении, увеличить ли объем выборки или использовать другую выборку.

Далее >>>