Значит пройти валидацию. Смотреть что такое "Валидация" в других словарях

Несмотря на кажущуюся схожесть, термины «тестирование», «верификация» и «валидация» означают разные уровни проверки корректности работы программной системы. Дабы избежать дальнейшей путаницы, четко определим эти понятия.

Тестирование программного обеспечения - вид деятельности в процессе разработки, связанный с выполнением процедур, направленных на обнаружение (доказательство наличия) ошибок (несоответствий, неполноты, двусмысленностей и т.д.) в текущем определении разрабатываемой программной системы. Процесс тестирования относится в первую очередь к проверке корректности программной реализации системы, соответствия реализации требованиям, т.е. тестирование - это управляемое выполнение программы с целью обнаружения несоответствий ее поведения и требований.

Рис. 1 Тестирование, верификация и валидация

Верификация программного обеспечения - более общее понятие, чем тестирование. Целью верификации является достижение гарантии того, что верифицируемый объект (требования или программный код) соответствует требованиям, реализован без непредусмотренных фун-к-ций и удовлетворяет проектным спецификациям и стандартам. Процесс вери-фи-ка-ции включает в себя инспекции, тестирование кода, анализ результатов тестирования, формирование и анализ отчетов о проблемах. Таким образом, принято считать, что процесс тестирования является составной частью процесса верификации, такое же допущение сделано и в данном учебном курсе.

Валидация программной системы - процесс, целью которого является доказательство того, что в результате разработки системы мы достигли тех целей, которые планировали достичь благодаря ее использованию. Иными словами, валидация - это проверка соответствия системы ожиданиям заказчика. Вопросы, связанные с валидацией выходят за рамки данного учебного курса и представляют собой отдельную интересную тему для изучения.

Если посмотреть на эти три процесса с точки зрения вопроса, на который они дают ответ, то тестирование отвечает на вопрос «Как это сделано?» или «Соответсвует ли поведение разработанной программы требованиям?», верификация - «Что сделано?» или «Соответствует ли разработанная система требованиям?», а валидация - «Сделано ли то, что нужно?» или «Соответствует ли разработанная система ожиданиям заказчика?».

Верификация — это обычно внутренний процесс управления качеством, обеспечивающий согласие с правилами, стандартами или спецификацией. Простой способ запомнить разницу между валидацией и верификацией заключается в том, что валидация подтверждает, что «вы создали правильный продукт», а верификация подтверждает, что «вы создали продукт таким, каким и намеревались его сделать».


Ещё один пример типичной верификации: проведение испытания оборудования. Имея определенные требования на руках, мы проводим испытание продукта и фиксируем, соблюдены ли требования. Результат верификации — это ответ на вопрос «Соответствует ли продукт требованиям?».

Но далеко не всегда продукт, соответствующий установленным требованиям, можно применять в конкретной ситуации. Например, лекарство прошло все положенные испытания и поступило в продажу. Значит ли это что оно может быть применено каким-то конкретным больным? Нет, так как каждый пациент имеет свои особенности и конкретно для этого лекарство может быть губительным, то есть кто-то (врач) должен подтвердить: да, этому больному можно принимать это лекарство. То есть врач должен выполнить валидацию: придать законную силу конкретному применению.

Или еще пример. Предприятие выпускает трубы, предназначенные для закладки в землю, в соответствии с некоторыми ТУ (Техническими условиями). Продукция этим ТУ соответствует, но поступил заказ, предполагающий укладку труб по дну моря. Могут ли трубы, соответствующие имеющимся ТУ, быть применены в данном случае? Именно валидация и дает ответ на этот вопрос.

Нетрудно видеть, что еще одно отличие состоит в том, что верификация производится всегда, а вот необходимость в валидации может и отсутствовать. Она появляется только тогда, когда возникают требования, связанные с конкретным применением продукции. Если фармацевтический завод выпускает лекарства, то он будет проверять лишь их соответствие требованиям, а проблемами применения конкретных лекарств конкретными пациентами заниматься не будет.

Таким образом, можно констатировать следующее:

Верификация — проводится практически всегда, выполняется методом проверки (сличения) характеристик продукции с заданными требованиями, результатом является вывод о соответствии (или несоответствии) продукции,

Валидация — проводится при необходимости, выполняется методом анализа заданных условий применения и оценки соответствия характеристик продукции этим требованиям, результатом является вывод о возможности применения продукции для конкретных условий.

Исходя из вышеописанного, валидация должна быть определена как подтверждение на основе представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, точно и в полном объёме предопределены, а цель достигнута.

1. Валидация ISO

2. Чем отличается валидация от верификации?

3. Валидация документов

4. Валидация XML и XHTML

5. GMP валидация

6. Что такое валидация ИПДО?

Валидация - это придание законной силы, утверждение, легализация, ратификация (общегражданское право);

Валидация - это , позволяющий определить, насколько точно с позиций потенциального пользователя некоторая модель представляет заданные сущности реального мира (системное программирование);

Валидация - это процедура, дающая высокую степень уверенности в том, что конкретный процесс , метод или система будет последовательно приводить к результатам, отвечающим заранее установленным критериям приемлемости; в частности, валидация технологических процессов проводится с использованием образцов не менее трех серий реального товара с целью доказательство и предоставление документального свидетельства, что процесс (в пределах установленных параметров) обладает повторяемостью и приводит к ожидаемым результатам при производстве полупродукта или готового товара требуемого качества; валидация аналитических методов состоит в определении: точности, воспроизводимости, чувствительности, устойчивости (межлабораторная воспроизводимость), линейности и других метрологических характеристик

Валидация ISO

Применительно к системам менеджмента качества согласно стандартам ISO серии 9000:

Валидация - подтверждение на основе представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, выполнены (ISO 9000:2005)

Валидация - подтвержение путем экспертизы и представления объективного доказательства того, что особые требования, предназначенные для конкретного применения, соблюдены.

Примечания:

1. При проектировании и разработке утверждение означает проведение экспертизы продукции с целью определения соответствия нуждам приобретателя.

2. Утверждение обычно осуществляется на конечной продукции в определенных условиях эксплуатации. Оно может быть необходимо на более ранних стадиях.

3. Термин «утверждено» используется для обозначения соответствующего статуса.

4. Могут осуществляться многократные утверждения, если предполагается различное использование. (ISO 8402:1994, п.2.18)

Анализ требований стандарта ISO 9001:

ISO 9001, п. 7.3.6: валидация проекта и разработки должна осуществляться в соответствии с запланированными мероприятиями, чтобы удостовериться, что полученная в результате продукция соответствует требованиям к установленному или предполагаемому использованию.

ISO 9001, п. 7.5.2: валидация процессов производства и обслуживания. должна подтверждать все процессы производства и обслуживания, результаты которых нельзя проверить посредством последовательного мониторинга или измерения. К ним относятся все процессы, недостатки которых становятся очевидными только после начала использования продукции или после предоставления услуги. Валидация должна продемонстрировать способность этих процессов достигать запланированных результатов.

ISO 9000, примечание 3 п. 3.4.1: , в котором подтверждение соответствия конечной продукции затруднено или экономически нецелесообразно, часто относят к "специальному процессу".

Общепринятые требования к специальным производственным процессам, обеспечивающие их валидацию:

1) аттестация производственного процесса (технология, методика, рабочие инструкции...)

2) аттестация производственного оборудования (калибровка сварочных машин или роботов, краскопультов и систем подачи краски...)

3) аттестация материалов (электроды, газ, флюсы, краска, растворители, грунты...)

4) аттестация персонала (квалификационные требования к сварщикам или операторам сварочных роботов, наладчикам, сервисным компаниям...)

с соответствующим документальным подтверждением.

Спец. (СП) должен быть в управляемых условиях.

Управляемые условия включают:

Наличие информации, описывающей характеристики продукции и СП;

Наличие нормативной, конструкторской и технологической документации;

Использование пригодного оборудования;

Наличие и использование средств контроля и измерений;

Проведение контроля, измерений и испытаний;

Осуществление деятельности по выполнению СП;

Наличие квалифицированного и аттестованного персонала осуществляющего СП;

Повторную валидацию;

Наличие записей, содержащих достигнутые результаты или свидетельства осуществленной деятельности при выполнении СП.

Чем отличается валидация от верификации?

Верификация - подтверждение на основе представления объективных свидетельств того, что установленные требования были выполнены.

Валидация - подтверждение на основе представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, выполнены.


Уже перевод с английского этих терминов дает определенную пищу для понимания разницы: verification - проверка, validation - придание законной силы.

Чтобы было проще понять, сразу приведу пример типичной верификации: тестирование программы или проведение испытания оборудования. Имея определенные требования на руках, мы проводим испытание товара и фиксируем, соблюдены ли требования. Результат верификации - это ответ на вопрос "Соответствует ли требованиям?".

Но далеко не всегда товар, соответствующий установленным требованиям, можно применять в конкретной ситуации. Например, лекарство прошло все положенные испытания и поступило в продажу. Значит ли это что оно может быть применено каким-то конкретным больным? Нет, т.к. каждый пациент имеет свои особенности и конкретно для этого лекарство может быть губительным, т.е. кто-то (врач) должен подтвердить: да, этому больному можно принимать это лекарство. То есть врач должен выполнить валидацию: придать законную силу конкретному применению.

Или еще пример. выпускает трубы, предназначенные для закладки в землю, в соответствии с некоторыми ТУ (Техническими условиями). Продукция этим ТУ соответствует, но поступил заказ, предполагающий укладку труб по дну моря. Могут ли трубы, соответствующие имеющимся ТУ, быть применены в данном случае? Именно валидация и дает ответ на этот вопрос.


Нетрудно видеть, что еще одно отличие состоит в том, что верификация производится всегда, а вот необходимость в валидации может и отсутствовать. Она появляется только тогда, когда возникают требования, связанные с конкретным применением продукции. Если фармацевтический завод выпускает лекарства, то он будет проверять лишь их соответствие требованиям, а проблемами применения конкретных лекарств конкретными пациентами заниматься не будет. Или тот же АвтоВАЗ.

Таким образом, можно констатировать следующее:

верификация - проводится практически всегда, выполняется методом проверки (сличения) характеристик продукции с заданными требованиями, результатом является вывод о соответствии (или несоответствии) продукции,

Валидация - проводится при необходимости, выполняется методом анализа заданных условий применения и оценки соответствия характеристик продукции этим требованиям, результатом является вывод о возможности применения продукции для конкретных условий.

Стандарт ИСО 9001 в двух местах обращается к этим терминам. Проверим, соответствует ли данное мной толкование содержанию разделов 7.3.5, 7.3.6 и 7.5.2.

"7.3.5. Верификация проекта и разработки. Верификация должна осуществляться в соответствии с запланированными мероприятиями (п. 7.3.1), чтобы удостовериться, что выходные данные проектирования и разработки соответствуют входным требованиям:".

"7.3.6. Валидация проекта и разработки. Валидация проекта и разработки должна осуществляться в соответствии с запланированными мероприятиями (п. 7.3.1), чтобы удостовериться, что полученная в результате продукция соответствует требованиям к установленному или предполагаемому использованию, если оно известно. Где это практически целесообразно, валидация должна быть завершена до поставки или применения продукции".

Нетрудно видеть, что трактовка находится в полном согласии с текстом этих разделов. При этом хотелось бы обратить внимание на то, что в п. 7.3.5 говорится о соответствии выходных данных , а в п. 7.3.6 - продукции. Это существенно! Это означает, что валидация проводится не для выходных данных , а для разработанной под конкретные условия продукции. Скажем, в деятельности института по разработке типовых проектов жилых зданий валидация не требуется - только верификация. А вот для деятельности по разработке проекта строительства жилого здания по тому же типовому проекту, но в конкретном месте, валидация уже необходима.

"7.5.2. Валидация процессов производства и обслуживания. Компания должна подтверждать все процессы производства и обслуживания, результаты которых нельзя проверить посредством последовательного мониторинга или измерения. К ним относятся все процессы, недостатки которых становятся очевидными только после начала использования продукции или после предоставления услуги. Валидация должна продемонстрировать способность этих процессов достигать запланированных результатов".


В технике или в системе менеджмента качества валидация подтверждает, что требования внешнего приобретателя или пользователя товара, услуги или системы удовлетворены. Верификация — это обычно внутренний процесс управления качеством, обеспечивающий согласие с правилами, стандартами или спецификацией. Простой способ запомнить разницу между валидацией и верификацией заключается в том, что валидация подтверждает, что «вы создали правильный товар», а верификация подтверждает, что «вы создали товар так, как и намеревались это сделать».

Валидация документов

Валидным является такой веб-документ, который прошел подобную процедуру и не имеет замечаний по коду. Код веб-страницы должен подчиняться определенным правилам, которые называются спецификацией, ее разрабатывает W3 (www.w3c.org) при поддержке разработчиков браузеров.

На первый взгляд, кажется, что валидация необходима, ведь речь идет о сокращении количества ляпов разработчиков и написании «правильного» кода. На деле все обстоит гораздо сложнее и вокруг валидации до сих пор ведутся горячие споры об ее актуальности. Чтобы объективно раскрыть этот вопрос далее рассмотрим плюсы и минусы такой проверки.

Хотя HTML-код имеет достаточно простую иерархическую структуру, при разрастании объема документа в коде легко запутаться, следовательно, просто и совершить ошибку. Браузеры, несмотря на явно неверный код, в любом случае постараются отобразить веб-страницу. Но поскольку единого регламента не существует о том, как же должен быть показан «кривой» документ, каждый браузер пытается сделать это по-своему. А это в свою очередь приводит к тому, что один и тот же документ может выглядеть по-разному в популярных браузерах. Исправление явных промахов и систематизация кода приводит, как правило, к стабильному результату.

Времена, когда производители браузеров добавляли уникальные возможности в свой товар вопреки всем стандартам, начинают уходить в прошлое. Каждая новая версия браузера все больше поддерживает спецификации и отображает документы с минимальными ошибками или вообще без них. Разработчики сайтов, также придерживающихся канонов веб-стандартов, таким образом соответствуют современным тенденциям развития веб-технологий.


Не стоит забывать и об XML (eXtensible Markup Language, расширяемый язык разметки). Этот язык становится стандартом де-факто для хранения данных и обмена информацией между разными приложениями. Синтаксис XML более жесткий, чем HTML и не прощает малейших ошибок. В каком-то смысле XML похож на языки программирования, в которых программа не будет скомпилирована, пока код не отлажен. HTML является первой ступенькой к изучению XML, поэтому приучая себя писать код по всем правилам, будет легче перейти к следующему этапу развития HTML.

Как это не удивительно, но среди веб-разработчиков тоже существует своя мода. Текущая мода — создавать валидные документы и вывешивать специальный значок в виде картинки, что сайт соответствует спецификации HTML. Подобная тенденция затронула даже заказчиков сайтов и при написании технического задания на разработку сайта некоторые из них специально оговаривают, чтобы сайт был выполнен по веб-стандартам.

Следование стандартам во многом дает множество выгод, которые проявляются в мелочах и становятся заметными при достижении определенной критической массы. В частности, объем кода становится меньше, компактнее и читабельнее. Соответственно, для пользователей повышается скорость загрузки сайта в целом.

Сайты, конечно же, делают для того, чтобы их посещали люди. Именно посетители выступают мерилом работы сайта, а их интересует и способ ее получения. Пользователь желает, чтобы сайт корректно отображался в его любимом браузере, быстро загружался и содержал те материалы, которые ему нужны. Заметьте, в этом списке нет ничего про код документа и его валидность, посетителей это просто не интересует. Поэтому совершенно невалидный сайт, но выполненный с душой, наполненный интересными материалами привлечет к себе больше посетителей, чем пустой ресурс, но сделанный по всем «правилам».

Разработчики браузеров не всегда следуют спецификации и в некоторых случаях трактуют код не по заданным правилам, а по-своему. В конечном итоге это приводит к тому, что веб-страница, которая правильно (т.е. так, как и задумывали разработчики) отображается в одном браузере, выводится с ошибками в другом. Следование спецификации в подобных случаях, скорее всего, отпугнет пользователей некоторых браузеров. К примеру, Internet Explorer (IE) в настоящее время занимает лидирующее положение среди браузеров, но при этом поддерживает спецификацию HTML и CSS хуже, чем Firefox и Opera. Очевидно, что пользователи IE при посещении сайта выполненного по всем стандартам, но не учитывающего специфику этого браузера, увидят неприглядную картину.

Заказчикам сайта, а также их разработчикам подобная ситуация не по нраву, поэтому стоя перед выбором: стандарты или браузер, они в большинстве своем выбирают браузер.

Получается неутешительная картина — тратить время на отладку кода для соответствия спецификации нет особой нужды. Это время лучше посвятить тому, чтобы документ без проблем работал в разных браузерах — так в основном размышляют веб-разработчики.

Валидация XML и XHTML

Для того, чтобы произвести валидацию содержимого, его сначала нужно получить. Источник (то, что мы должны проверить на соответствие набору определённых правил) может быть совершенно непредсказуемым:

Удалённый источник.

Абстрагируемся от указанных выше источников, ведь на самом деле нам не так уж и важно, откуда мы получаем данные для валидации: все они в конечном итоге предстают в виде строки. После того, как мы получили строку, нам нужно её обработать таким образом, чтобы получить элементы, с которыми мы можем работать на том языке программирования, на котором мы программируем. Для начала мы должны определиться, в какие сущности мы можем превратить входные данные. Вспоминаем, что основной единицей в XML/XHTML является элемент. От него и будем отталкиваться. Помимо элемента, нам нужен контейнер элементов, который мы будем называть документом.

Каждый XML/XHTML-документ состоит из набора элементов, причём всегда есть корневой элемент, содержащий в себе все остальные элементы. Постойте! Но ведь это же обычное дерево! Да-да, всё правильно: мы видим перед собой дерево элементов. Мы пришли к достаточно важному выводу: любой XML-документ (и документ на любом XML-подобном языке) можно представить в виде дерева. После, с этим деревом мы можем выполнять самый разный набор операций: сравнение, удаление, перестановка, траверсинг (операция прохода по всем узлам дерева) и другие.

Проверка XML несравненно проще проверки XHTML: нам необходимо лишь удостовериться в выполнении нескольких требований, что можно сделать совершенно спокойно, учитывая то, что у нас есть дерево элементов. Систематизируем необходимые правила:

Первый элемент в документе — это всегда декларация заголовка XML вида, где […] — атрибуты заголовка XML;

Все элементы должны быть названы верным образом и не должны содержать посторонних символов (пробелов, к примеру);

Все атрибуты должны быть записаны в правильной форме (проверяется достаточно просто, тем же регулярным выражением);

Документ должен содержать только один корневой элемент;

Вложенность элементов должна быть соблюдена (проверка данного утверждения достигается за счёт использования стека элементов, с помощью которого мы проверяем соответствия открывающих и закрывающих элементов);

Если все вышеуказанные правила соблюдаются, то документ считается валидным XML-документом. В противном случае — документ содержит ошибки, список которых валидатор может вывести пользователю для ознакомления и исправления.

Проверка XHTML основывается на валидации XML. Сначала мы должны удостовериться в том, что документ является валидным с точки зрения XML (то есть соблюдена вложенность тегов, правильно оформлены элементы и их атрибуты, и другие), и уже потом накладывать дополнительные правила. Если документ не является валидным с точки зрения XML, то он заведомо не является валидным и с точки зрения XHTML.

Чтобы применять какие-либо правила XHTML к документу, сначала нужно эти правила описать таким образом, чтобы их было легко получить и как трафарет наложить на документ. Для валидации XHTML-документов правила могут храниться в виде нескольких форматов:

DTD-документы;

Независимо от формата, производится следующий набор проверок:

Проверка всех используемых элементов в документе на их наличие в XHTML (если элемент, указанный в документе, не существует, то выдаётся соответствующая ошибка);

Проверка на наличие обязательных атрибутов у соответствующих элементов;

Проверка типа содержимого некоторых атрибутов на соответствие тем типам, которые указаны в правилах;

Тип содержимого элемента должен совпдадать с тем, который указан в правилах;

Так как XHTML определяет классы элементов (блоковые и текстовые), то валидатор должен убедиться в том, что элементы одного класса (уровня) должны быть правильно вложены в элементы другого класса (уровня). Подобные закономерности также описываются в правилах.

После выполнения указанного набора правил можно говорить о том, является ли документ валидным или напротив: содержит какие-то ошибки, которые валидатор может указать пользователю.

GMP валидация

GMP является сложным комплексным решением проекта, строительства, эксплуатации и компании производства, требует большое финансовое и трудовое вложение. Это уже стало обязательно достигнутым уровнем для фармацевтического завода.

На практике реальные опыты и профисиональные консультации могут помочь предотвратить ошибки в проектировании и комплектации оборудования, которые могут вызывать огромные невозмещаемые потери в капиталовложении, времени и силы.

Для работающего завода: обследывание завода в отношении здания, общетехнического условия, ассортименте продукции и соответствующих цехов, состояния оборудования, структуры и персонала, и занния и навыки персонала о правилах GMP, документации о контроле качества и менеджменте, анализуя степень соответствия с требованием действующиего стандарта GMP, составят общий план работы усовершенствия и расписание. Две стороны подверждают и начинается осуществовать.


Для нового объекта: планировка завода: общий план, проект технологии, складирования, качества, процесса производства и дает замечание или советы. Проверяет выбор оборудования и поставщика

Акретитация по правилам GMP не только нуждается в ссответствующих соружении и оборудовании, но и системе документации: обязанности отделов и должностей, правила менеджмента , правила операций, правила контроля качества, стандарта качества, записи серий производства.

Что такое валидация ИПДО?

Валидация ИПДО является механизмом, нацеленным на обеспечение качества и является неотъемлемой частью процесса ИПДО. Она несет две основные функции. Во-первых, она стимулирует диалог и процесс обучения на уровне страны. Во-вторых, она поддерживает уровень единого глобального стандарта ИПДО во всех внедряющих странах. Валидация не является аудитом. Она не является повторением процесса раскрытия и сравнения, которые составляют часть процесса подготовки отчетов ИПДО. У валидации более всеобъемлющие цели: при содействии заинтересованных сторон она оценивает внедрение ИПДО; оценивает результаты на соответствие глобальному стандарту; и изыскивает возможности укрепления развития процесса ИПДО.

Кроме того, валидация является механизмом, который применяется для определения статуса страны как страны-кандидата или страны , удовлетворяющей ИПДО. В настоящий момент 23 страны являются кандидатами. Все эти страны удовлетворяют четырем вступительным требованиям и находятся на различных стадиях внедрения ИПДО. ИПДО требует для оценки соответствия ИПДО, чтоб страны завершили валидационный процесс в двухлетний срок.

Посредством валидации страны, демонстрирующие свое соответствие с требованиями ИПДО (или заметный прогресс в достижении этой цели) получают международное признание своих усилий и достижений. Если валидация не завершена или она показывает отсутствие заметного прогресса в достижении соответствия требованиям ИПДО, Правление ИПДО отзывает статус страны-кандидата.

Процесс валидации проходит на международном уровне и контролируется мультистейкхолдерной группой на уровне государства. валидации изложена в Правила ИПДО, в том числе руководство по валидации.

Первым шагом является назначение мультистейкхолдерной группой валидатора. Правление ИПДО составило список аккредитованных валидаторов ИПДО, и подготовило указания для внедряющих стран о назначении валидатора.


Выбранный валидатор пользуется тремя основными документами в своей работе.

Таковыми являются:

Рабочий план страны

Валидационные требования и Метод оценки показателей, и

Анкеты компаний

Пользуясь данными документами валидатор встречается с мульти-стейкхолдерной группой, привлекается компанией для сверки данных раскрытых компаниями, правительством и другими ключевыми стейкхолдерами (включая организации и общественность, не вошедшие в состав мульти-стейкхолдерной группы).

Пользуясь данными сведениями валидатор завершает отчет, включающий:

Сжатый обзорный отчет о прогрессе в выполнении рабочего плана страны;

Сжатый обзорный отчет о прогрессе в достижении показателей валидационного графика;

Заполненный валидационный график;

Обзорный отчет о внедрении компаниями;

Совокупные анкеты компаний;

Общая оценка внедрения ИПДО: является ли страна кандидатом, соответствует требованиям, есть или нет заметного прогресса.

Данный отчет сначала поступает в адрес мультистейкхолдерной группы, правительства и Правления ИПДО. Если данные группы согласовывают валидационный отчет, он публикуется и замечания принимаются к исполнению. Если возникает разногласия относительно валидационного процесса, тогда он рассматривается сначала на местном уровне. Правление ИПДО привлекается только в случае возникновения серьезных разногласий.

Источники

ru.wikipedia.org Википедия - вободная энциклопедия

htmlbook.ru Для тех, кто делает сайты

certicom.kiev.ua СертиКом

enumerate.ru В поисках упорядоченной истины

luxunig.com Фармацевтический инженеринг


Энциклопедия инвестора . 2013 .

Синонимы :

Смотреть что такое "Валидация" в других словарях:

    Валидация - придание законной силы, утверждение, легализация, ратификация. Словарь бизнес терминов. Академик.ру. 2001 … Словарь бизнес-терминов

Понятие «валидация» применяется в различных областях человеческой деятельности. Основной момент валидации заключается в сверке выставленных требований, которые требуются для достижения установленной цели.

Основные значения термина "валидация"

Не следует путать между собой два термина - "валидация" и "верификация", между ними существенная разница. Валидация - что это? Простыми словами можно сказать так: это процесс приведения объективных свидетельств того, что требования определённого внешнего потребителя или пользователя услуги/продукта/системы полностью удовлетворены.

Когда необходимо проводить валидацию?

Согласно международному стандарту качества ISO 9001, предприятие обязано проводить аттестацию всех действий осуществления производства и услуг, если окончательный продукт невозможно подвергнуть проверке мониторингом или последующим измерением, и, как следствие, недочеты возможно выявить лишь уже после предоставления услуги или применения продукта. Отсюда следует, что для всех действий получения продукции, которые приводится в исполнение вне стен производства, необходимо проводить валидацию.

Что значит валидация? Процедура предполагает комплекс мероприятий, которые направлены на доказательства того, что все системы, алгоритмы, оборудование, использованные материалы и прочее ведут к получению необходимых результатов. В случае если при проведении валидации или по итогам показатели получают плохую оценку, все использованные ресурсы списываются в убытки автоматически.

Валидация оборудования

При производстве оборудования все изготовители указывают обусловленные свойства продукта. К ним относятся:

  • Условия эксплуатации.
  • Масса.
  • Габариты.
  • Параметры сети питания и прочее.

Как правило, пользователей в первую очередь интересуют: диапазон производительности, надежность и стабильность. Именно два последних показателя изучают во время проведения проверки. Валидация - что это простыми словами? Показания:

  • Для оборудования, которое было в первый раз установлено, необходимо осуществить валидацию, также рекомендуется это делать после любого перемещения.
  • Частота повторений выполнения валидации определяет стабильность производительности оборудования.
  • Периодичность выполнения валидации оборудования и анализ итогов оговариваются с заказчиком. В отдельных случаях проверку оборудования необходимо проводить накануне запуска или после долгого простоя.

Валидация процесса

Валидация производства предполагает обоснование того, что процесс приведёт к получению установленных результатов. Проверку нужно проводить при запуске нового производственного процесса или при внесении поправок. Условия вторичной валидации после внесения изменений оговариваются с заказчиком или устанавливаются на основании внутренних требований предприятия.

Для отдельных видов производства валидацию процесса требуется проводить при каждом запуске линии или после долгого простоя. В этом случае применяется упрощенный план валидации, но оценка происходит более тщательно.

Валидация продукта

Валидация продукции отличается от других видов тем, что в этом случае учитывается (но не заменяется) вся цепочка производства, в том числе проверка оборудования и процесса. Цель проверки - засвидетельствовать, что все проводимые процедуры и процессы приведут к производству необходимого продукта. Валидация продукции представляет из себя комплекс исследований:

  • Численные показатели.
  • Качественные показатели.

Проверка проводится на начальном этапе производства и повторяется при внесении любых поправок в конфигурацию продукции.

Валидация в системе менеджмента качества в соответствии с образцами ISO 9000

Валидация - подтверждение на базе предоставления доказательств того, что исполнены требования, которые предназначены для определённого применения или использования (ISO 9000:2005). Происходит процедура подтверждения способом проведения экспертизы и предоставления объективных сведений.

Этапы валидации:

  • При разработке и проектировании утверждение обозначает то, что проведена экспертиза продукта для установления соответствия потребностям потребителя.
  • Процесс утверждения обычно осуществляется на конечном продукте и в установленных условиях эксплуатации. В некоторых случаях валидация проводится на ранних стадиях производства.
  • Термин «утверждено» применяется для обозначения соответственного статуса. При разностороннем применении продукта утверждение происходит многократно (ISO 8402:1994, п. 2.18).

Отличия валидации от верификации

Верификация, как правило, это внутренний процесс регулирования качества продукта, который происходит в соответствии с инструкциями, образцами и спецификацией. В чём разница между валидацией и верификацией?

  • Валидация - это подтверждение того, что вы произвели правильный продукт.
  • Верификация - подтверждение того, что продукт получился таким, каким вы хотели его произвести.

Пример стандартной верификации - выполнение тестирования оборудования.

  • Получение/подтверждение требований и норм для продукта.
  • Осуществление испытаний.
  • Фиксирование результатов, проверка на соответствия требованиям.
  • Итоги верификации.

Даже если продукция полностью отвечает требованиям, ее не всегда возможно использовать в конкретной ситуации.

Примеры

К примеру, медицинский препарат прошёл все необходимые проверки и поступил в реализацию. Означает ли это, что его может принимать любой больной? Нет, так как любой пациент имеет особенности организма, и непосредственно в его ситуации препарат может нанести вред, поэтому больному следует проконсультироваться с лечащим доктором, который, в свою очередь, должен засвидетельствовать: да, данному больному показано применение этого препарата. Вот ответ на вопрос: валидация - что это? Простыми словами это проверка продукта на возможность применения в данной ситуации, то есть врач выполняет процесс валидации.

Другой пример: предприятие занимается производством труб для закладки в землю согласно ТУ (техническим условиям). Продукт полностью отвечает требованиям, но сделан заказ на укладку труб на дне моря. В данном случае могут ли трубы, предназначенные для укладывания в грунт, быть использованы для укладки под водой? Именно проведение валидации даст ответ на поставленный вопрос.

Еще одно различие этих процессов в том, что верификация проводится всегда, а вот потребность в валидации может отсутствовать. Валидация - что это простыми словами, каковы показания для её проведения?

Необходимость возникает лишь в тех случаях, когда образуются требования, связанные с определённым использованием продукта. Если фабрика фармацевтики производит лекарственные препараты, она осуществляет только проверку на соответствие установленным требованиям, а вопросами применения определенных медицинских препаратов пациентами заниматься не будет.

Отсюда можно выделить следующее:

  • Верификация - процесс постоянный, и исполняется он путём сверки характеристик продукции с поставленными требованиями, в результате принимается решение о соответствии/несоответствии данным требованиям.
  • Валидация проводится по потребности и исполняется путём исследования установленных условий использования и оценки соответствия характеристик продукции этим условиям, в результате принимается решение об использовании продукта в конкретной ситуации.

Подводя итог, ответим на вопрос: валидация - что это? Простыми словами это подтверждение, которое создаётся на основе объективных свидетельств того, что условия для конкретного использования или применения с точностью и в полном объёме соблюдены, а значит, поставленная цель достигнута.

МЕТОДИЧЕСКИЕ УКАЗАНИЯ

ДЛЯ ПРАКТИЧЕСКИХ (СЕМИНАРСКИХ)

ЗАНЯТИЙ

Курс 4

Дисциплина: ОСНОВЫ ПРОЕКТИРОВАНИЯ И ОСНАЩЕНИЯ ПРОИЗВОДСТВА

Составитель:

Мурзагалиева Э.Т.

Алматы, 2017 г.

Практическое занятие №11

Валидация технологического процесса и квалификация производственного оборудования.

Валидация процесса - это процедура документированного подтверждения того, что определенный процесс (такой как производство фармацевтических продуктов) позволяет с высокой степенью гарантии производить продукт, соответствующий установленным показателям качества (спецификации).

Валидация - неотъемлемая часть тщательно спланированной, последовательной программы разработки продукта/процесса

Валидация - это действия, которые в соответствии с принципами надлежащей производственной практики, доказывают, что определенная методика, процесс, оборудование, сырье, деятельность или система действительно приводят к ожидаемым результатам (ЕС руководство по GMP).

Квалификация - это процесс документального подтверждения того, что проект производственного участка (инженерной системы, оборудования, склада и др.) соответствует заданию на проектирование (User Requirements Specification, URS) и требованиям GMP.

Сфера применения - объекты квалификации и валидации:

Технические системы

Помещения

Оборудование

Инженерные (технические) системы обеспечения функционирования производства

Технологический процесс

Методики контроля качества

Методики очистки

Подходы:

Новые технологические процессы

Валидация при внесении изменений

Плановая критическая ревалидация

Виды валидации:

Перспективная валидация

o до реализации выпущенной продукции

Сопутствующая валидация

o во время серийного выпуска продукции

Ретроспективная валидация

o процессы уже выполняются в течении какого-то времени

Основные задачи валидации:

Подтверждение правильности регламентированных параметров технологических процессов - обеспечение качества продукции во время выполнения операций техпроцесс;

Подтверждение правильности инструкций по осуществлению операций техпроцесса (соответствие возможностям и предназначению оборудования);

Подтверждение возможности оборудования обеспечить соблюдение всех параметров ведения техпроцессов и качества продукта;

Подтверждение возможности (способности) персонала обеспечить выполнение (соблюдения) регламентированных требований;

Воспроизводимость (точность воспроизведения) параметров техпроцесса и обеспечение при этом необходимых показателей качества.

Общие требования и принципы:

Технические средства (помещения, оборудование, системы) квалифицированы

Аналитические методики валидированы

Процесс разработаны надлежащим образом и апробирован

Персонал, который принимает участие в валидационных испытаниях, обучен

Изменения управляются

Обеспечение периодичности оценки технических средств, систем, оборудования, процессов для подтверждения их правильного функционирования



Квалификация оборудования и инженерных систем даёт гарантии того, что оборудование и инженерные системы соответствуют своему функциональному назначению, стабильно поддерживают необходимые нам параметры технологического процесса и не вносят в продукт никаких загрязнений. Объем квалификации устанавливается исходя из критичности объекта инфраструктуры.

Выполнение критических процедур очистки важно для достижения необходимого качества поверхностей оборудования и уровня их чистоты, что в свою очередь позволяет избежать загрязнения продукции. К тому же результаты валидации очистки позволяют отказаться от лабораторного контроля смывов и промывных вод после каждого цикла очистки, что значительно экономит время при переходе на производство другого препарата.

Применение валидации в фармацевтической промышленности произошло благодаря позаимствованному опыту аэрокосмической отрасли, в 1960 г. Впервые была применена для валидации процессов стерилизации и производства твердых лекарственных форм. Незадолго после этого, валидации подлежали практически все процессы производства лекарственных средств.

1987 г. – издание FDA руководства по процессной валидации.

На данный момент, валидация является обязательной частью GMP.

Процесс валидации можно сравнить с юридической практикой - аналогично, как адвокат доказывает правоту своего клиента, так и инженеры по валидации, используя результаты исследований, доказывают пригодность производства к выпуску продукции высокого качества.

Валидация . Частные случаи:

  • Квалификация (Qualification) - действия, которые подтверждают, что конкретное оборудование работает правильно и действительно приводит к ожидаемым результатам. (ЕС руководство по GMP).
  • Валидация методик (Analytical Validation, AV) - документированное подтверждение того, что утвержденная методика контроля пригодна для применения при производстве и контроле качества лекарственных средств.
  • Валидация очистки (Cleaning Validation, CV) - документированное подтверждение того, что утвержденная процедура очистки обеспечивает такой уровень чистоты оборудования, который необходим для производства лекарственных средств.
  • Валидация процесса (Process Validation, PV) - документальное подтверждение того, что процесс, выполняемый в рамках установленных параметров, протекает эффективно и с воспроизводимыми параметрами, производя лекарственное средство, удовлетворяющее всем заданным требованиям к продукции и ее качеству.

Как мы видим, квалификация является более узким понятием, в отличии от валидации, и определяет отдельное направление, которое относится к тестированию параметров инженерных систем, производственных помещений, технологического и лабораторного оборудования, и других технических средств на соответствие требованиям GMP и других нормативных документов регламентирующих безопасный выпуск лекарственных средств требуемого качества.

Стадии квалификации:

  • Квалификация проекта (Design Qualification, DQ) - это процесс документального подтверждения того, что проект производства (инженерной системы, оборудования, склада и др.) соответствует заданию на проектирование (User Requirements Specification, URS) и требованиям GMP.
  • Квалификация монтажа (Installation Qualification, IQ) - документальное подтверждение того, что монтаж помещений, систем и оборудования (установленных или измененных) выполнен в соответствии с проектом и другой технической документацией.
  • Квалификация функционирования (Operation Qualification, OQ) - документальное подтверждение того, что помещения, системы и оборудование (установленные или измененные) функционируют в соответствии с предъявляемыми требованиями, во всех режимах работы.
  • Квалификация эксплуатации (Performance Qualification, PQ) - документальное подтверждение того, что помещения, системы и оборудование в комплексе работают эффективно и с воспроизводимыми показателями в соответствии с промышленным регламентом, технологическими инструкциями и спецификацией на продукт.

Виды валидации процесса:

  • Перспективная валидация (prospective validation) - валидация, выполняемая до начала серийного производства продукции, предназначенной для реализации.
  • Сопутствующая (concurrent validation) - валидация, которая проводится в ходе серийного производства продукции, предназначенной для продажи.
  • Ретроспективная валидация (retrospective validation) - аттестация серийного процесса производства реализуемого продукта, основанная на полученных данных о производстве и контроле серий продукции.
  • Повторная валидация (ревалидация) (re-validation) - повторение первичной валидации процесса для обеспечения гарантии того, что изменения в процессе (оборудовании), выполненные в соответствии с процедурой контроля изменений, не ухудшают характеристики процесса и качество продукции.

Повторная валидация (ревалидация) проводится:

  • в плановом порядке в сроки, устанавливаемые предприятием в Отчете о проведении валидации.
  • до возобновления производства в случаях изменения документации и/или условий производства, которые могут повлиять на качество полупродукта и готового продукта. Объем валидационных работ определяется предприятием исходя из внесенных изменений.

Исходя из приведенной выше терминологии видно, что понятия «Перспективной», «Сопутствующей» и «Ретроспективной» валидации относится только к процессам производства продукции, предназначенной для реализации. Однако, применение данных терминов, при организации и планировании работ по валидации других видов процессов, уже дано и эффективно используется валидационными службами.

Планирование работ по валидации

Согласно требованиям GMP, производители должны определить, какая работа по валидации необходима для подтверждения контроля критических аспектов конкретных операций, проводимых ими. Значительные изменения, вносимые в технические средства, оборудование и процессы, которые могут повлиять на качество продукции, должны пройти валидацию. Для определения области проведения и объема валидации следует использовать подход, основанный на оценке рисков.

Всю деятельность по валидации следует планировать. Ключевые элементы программы валидации следует четко определить и задокументировать в основном плане валидации (Validation Master Plan - VMP) или соответствующих документах (ЕС руководство по GMP).

Отличительной особенностью работы по валидации является необходимость совместной работы специалистов различного профиля: фармацевтов, технологов, инженеров, метрологов и т.д. Как правило, работа по валидации проходит в жестком режиме времени. Проведение валидационных исследований требует больших затрат, поскольку для этого необходимо привлечение высококвалифицированных специалистов, закупка специфического оборудования и т.д.

Все эти факторы требуют грамотного планирования, надлежащей организации, для четкого и последовательного выполнения работ по валидации.

Политика валидации

Должна быть документально оформлена общая политика производителя относительно намерений и подхода к валидации, включая валидацию технологических процессов, процедур очистки, аналитических методов, методик контрольных испытаний в процессе производства, компьютеризированных систем, и в отношении лиц, ответственных за разработку, проверку, утверждение и документирование каждого этапа валидации.

Критические параметры / характеристики, как правило, следует определять на стадии разработки или на основании данных предыдущего опыта работы; следует также определить диапазоны этих критических параметров / характеристик, необходимых для воспроизводимых операций. При этом необходимо:

  • определить критические характеристики АФИ как продукции;
  • указать параметры процесса, которые могут влиять на критические характеристики качества АФИ;
  • установить диапазон для каждого критического параметра процесса, который предполагается использовать при серийном производстве и контроле процесса.

Валидация должна охватывать те операции, которые определены как критические для качества и чистоты АФИ (ЕС руководство по GMP).

Валидация является широким и обобщающим понятием, направленным на демонстрирование степени гарантии качества выпускаемой продукции путем тестирования технологических процессов, инженерных систем, оборудования, производственных помещений, методик контроля и др. Этот процесс логично взаимосвязан и перекликается с многими фундаментальными науками (химия, физика, математика и др.) которые позволяют более детально рассматривать свойства лекарственных средств, сырья из которого они изготавливаются, стадии обработки до получения готового продукта, и помогают выявить и оценить наиболее критичные операции, несоответствия в которых повлекут за собой непоправимые последствия, тем самым предупреждая появление на рынке некачественного лекарственного средства.

Литература:

Основная:

1. Основы проектирования химических производств: Учебник для вузов / Под ред. А. И. Михайличенко. – М.: ИКЦ «Академкнига» 2010. – 371 с.

2. Технология чистых помещений. Основы проектирования, испытаний и эксплуатации / В. Уайт. - Изд-во «Клинрум», 2008.

3. Проектирование чистых помещений. Под ред. В. Уайта. Пер. с англ. - М.: изд. "Клинрум", 2004. - 360 стр.

4. Основы проектирования химических производств: Учеб. пособие / Дворецкий С.И., Кормильцин Г.С., Калинин В.Ф. - М.: Издательство "Машиностроение-1". 2005. 280 с.

5. Нормирование фармацевтического производства. Обеспечение качества продукции / В. В. Береговых, А.П.Мешковский. – М.: Издательство ЗАО «Информационно-издательское агентство «Ремедиум», 2001. – 527 с.

Дополнительная:

1. Архитектурное проектирование: учебник для студ. сред. проф. образования / М. И. Тосунова, М. М. Гаврилова. – 4-е изд., перераб. и доп. – М. : Издательский центр «Академия», 2009. – 336 с.

2. Большой справочник по конструкциям и материалам современных зданий, 2006. - 620 с.

3. СТРК 1617. Надлежащая производственная практика (GMP).

4. Спицкий О.Р., Александров О.В. GEP - Надлежащая инженерная практика. Рецепт. - № 2 (88). - 2013. - С. 7-14.

5. Спицкий О.Р. Надлежащая инженерная практика (GEP) как система. инженерного менеджмента. Фармацевтическая отрасль. - № 6(29). - 2011. - С. 50-53.

6. Allen E., Iano J. Fundamentals of Building Construction: Materials and Methods, 6th Edition. - Hoboken, New Jersey: John Wiley & Sons, Inc., 2014. - XVI, 1007 p.

7. Hicks Tyler G. Handbook of Civil Engineering Calculations, Publisher: McGraw-Hill Publication: 2007, English Isbn: 9780071472937 Pages: 840

Согласно международному стандарту качества ISO 9001 "Организация должна аттестовать все процессы осуществления производства и услуг, когда конечный результат не может быть проверен последующим мониторингом или измерением, и как следствие, недостатки могут быть выявлены только после использования продукта, либо предоставления услуги”. Таким образом, для всех процессов, ведущих к получению продуктов и полуфабрикатов, использование которых предполагается осуществлять вне предприятия, следует проводить валидацию.

Валидация представляет собой комплекс действий, направленных на подтверждение того, что все процессы, системы, оборудование (включая измерительное), материалы и компоненты, операции и процедуры ведут к получению требуемых результатов. В тех случаях, когда в ходе валидации или по ее результатам наблюдаемые показатели являются неудовлетворительными, все задействованные ресурсы автоматически переносятся в категорию убытков.

В некоторых ситуациях продукт, полученный в ходе процесса валидации не может быть по тем или иным причинам передан заказчику (при проведении деструктивных исследований или при необходимости сохранения непосредственно продукта как доказательства способности/валидности процесса), т.е. вне зависимости от результатов приносит предприятию убытки. Таким образом, определение случаев, требующих проведения или повтора валидации является важной частью работы организации.

В данной статье мы рассмотрим случаи, в которых следует проводить валидацию для:

· оборудования

· процесса

· продукта

Валидация оборудования

Все производители оборудования указывают набор определенных характеристик своего продукта. Сюда относятся данные о требуемых условиях эксплуатации, вес, геометрические размеры, параметры сети питания и многое другое. Для пользователей наибольший интерес представляют диапазон работы, точность и стабильность. Последних два параметра наиболее часто исследуются в ходе валидации, как наиболее критичные для качества продукта.

Валидация оборудования состоит в подтверждении соответствия параметров точности заявленной в спецификации. Таким образом, если оборудование было впервые установлено, следует провести его валидацию. Для некоторых типов оборудования валидацию следует проводить также после каждого перемещения.

Стабильность работы оборудования определяет частоту повторения валидации. Для оборудования, стабильность которого колеблется во времени, частоту проведения валидации зачастую указывает производитель. В случае отсутствия такой информации следует определить частоту проведения валидации, базируясь на опыте эксплуатации подобного оборудования или внутренних требованиях.

Частота проведения валидации оборудования и критерии оценки результатов могут также оговариваться с заказчиком. В отдельных случаях валидацию оборудования следует проводить каждый раз перед запуском или после длительных простоев.

Валидация процесса

Валидация процесса предполагает подтверждение того, что процесс ведет к получению желаемых результатов с определенным уровнем стабильности. Валидацию процесса следует проводить в случаях запуска нового процесса или после внесения изменений в существующий. Следует учитывать, что при запуске нового производства, валидация процесса является частью этапа NPI и дополнительно может не проводится при запуске массового производства.

Требования по повторному проведению валидации процесса, после внесения изменений в процесс, устанавливаются внутренними требованиями организации или по договоренности с заказчиком. Особое внимание в таких случаях рекомендуется уделить разъяснению того, что следует считать изменениями в процессе. К примеру, в отдельных случаях замена детали аппарата тоже может привести к необходимости повтора валидации.

Для некоторых типов производства валидацию процесса проводят каждый раз непосредственно перед запуском линии или после длительного простоя. В таком случае, валидация чаще всего проводится по упрощенному плану, но оценивается по более жестким критериям. Формально такой процесс может не считаться валидацией вообще. Вместо валидации чаще применяют название пробный запуск или контроль первых образцов.

Так как, одним из основных показателей процесса, исследуемых в ходе валидации, является его стабильность, то повтор валидации, при отсутствии изменений в процессе, не требуется. Тем не менее, частота проведения валидации процесса также может быть отдельно оговорена с заказчиком или определена внутренними процедурами организации.

Валидация продукта

Валидация продукта отличается от валидации оборудования и процесса тем, что учитывает всю цепочку производства в целом, т.е. предполагает и валидацию оборудования и валидацию процесса, но не заменяет их. Цель валидации продукта – подтвердить способность всех процессов и операций производить требуемое изделие.

Валидация продукта может состоять из комплекса исследований, качественно и количественно оценивающих продукт. При оценке количественных показателей, по результатам измерения наблюдаемых параметров, высчитываются индексы способности: Cp , Cpk , Pp , Ppk . При оценке качественных показателей, чаще всего, критерием служит полное отсутствие дефектов (или присутствие определенной характеристики) в наблюдаемом количестве изделий.

Валидация продукта проводится на начальных стадиях производства и повторяется в случаях внесения изменений в конфигурацию продукта или переносе продукта на другую линию/цех/предприятие. В ряде случаев валидация продукта может совпадать с валидацией процесса. К примеру, при запуске производства нового продукта на новой производственной линии. В данном случае под новой линией следует понимать, конфигурацию производственной линии, собранной непосредственно для изготовления данного продукта (серии продуктов).

В заключение рассмотрим пример для лучшего понимания разницы между валидацией оборудования, процесса и продукта.

Предположим, что на предприятии готовится к запуску производство нового "семейства” продуктов. Для данного вида производства следует подготовить новую производственную линию. Отличие новой производственной линии от уже существующей заключается в прибавлении 2 единиц оборудования. Новая производственная линия будет сформирована на базе прежней путем добавления двух единиц – оборудование установленной линии при этом не перемещается! Дополнительное оборудование для линии будет доставлено из разных мест: одна единица будет закуплена непосредственно у производителя (новое оборудование), а вторая – доставлена из другого предприятия (оборудование эксплуатировалось раньше). Что следует предпринять для того, чтобы удостовериться, что заказчик получит продукт, отвечающий его требованиям?

Итак, для двух единиц оборудования, не зависимо от того, новое оборудование или бывшее в эксплуатации, следует провести валидацию. Повторную валидацию оборудования следует проводить в зависимости от стабильности его работы.

Весь процесс производства проходит валидацию по одному из продуктов. Повторная валидация процесса будет проведена в соответствии с внутренними процедурами и регламентом/требованиями заказчика или при внесении изменений в процесс.

Для каждого продукта из всего семейства следует провести валидацию до массового производства. Повторную валидацию продукта следует проводить в соответствии с требованиями заказчика, внутренними процедурами или при модификации продукта.