Verifikáció és validáció
Infografika
Leírás
A megrendelő letölti a https://minosegbiztositas.kdiv.hu/administration
oldalon található verifikációs és validációs kérelmet, majd kitöltést követően benyújtja azt a KDIV
számára HKP-n,
e-mail-en vagy postai úton. Ha minden bemeneti követelményt teljesített a megrendelő,
akkor abban az esetben az adott mérőeszköz vagy módszertani leírás verifikáláson és
validáláson esik keresztül. Sikeres vizsgálatot követően megfelelőségi nyilatkozat kerül kiállításra.
A verifikáció és validációs részfolyamat célja, hogy egy beérkezett kérelemben meghatározott,
vizsgálatra alkalmazott szoftver és/vagy módszertan verifikálása (igazolása) és validálása
(érvényesítése) megvalósuljon jelen utasítás szerint.
Amennyiben a megrendelő bármely TMI laboratóriumi tevékenység közül értékelést igényel meg, abban az
esetben a fejlesztő szervezet által elvégzett vizsgálat eredményét szükséges biztosítani. Az értékelés
csak abban az esetben folytatható le, ha vizsgálat eredménye mellett a megrendelő tudja igazolni a
vizsgálati módszertan és a módszertanban alkalmazott mérőeszköz megfelelőségét a KDIV által kiállított
verifikációs és validációs nyilatkozattal. Ha a megrendelő nem rendelkezik ezen nyilatkozattal, akkor
szükséges benyújtania a verifikációs és validációs kérelmet a KDIV TMI részére.
A verifikációs és validációs eljárást a megrendelő vagy egy általa felkért személy/szervezet
kérelmezheti.
A verifikációs és validációs eljáráshoz tartozó követelmények két csoportra oszthatók, amelyek az
alábbiak:
- megrendelővel/fejlesztői szervezettel szemben támasztott követelmények: Ezen követelmények teljesítése feltétlenül szükséges ahhoz, hogy a verifikációs és validációs vizsgálat meg tudjon kezdődni. Amennyiben a kérelmet benyújtó szervezet nem teljesíti ezen követelményeket, abban az esetben a TMI a Hiánypótlás részfolyamat szerint jár el.
-
megfelelősségi követelmények:Ezen követelmények a verifikációs és validációs
eljárás
végkimenetelét határozzák meg. Abban az esetben kerül az eljárás végén megfelelő minősítésű
verifikációs és validációs nyilatkozat kiállításra, amennyiben az alábbi táblázatban felsorolt
követelmények teljesülnek. Ezen követelmények laboratóriumi tevékenységenként értelmezettek, úgy
mint:
- Kódminőség és alacsony szintű teszt lefedettség vizsgálat,
- Teljesítmény teszt,
- Sérülékenységi teszt.
Módszertan verifikáció és validáció
Megrendelővel és fejlesztő szervezettel szemben támasztott követelmények
| Követelmény azonosítója | Követelmény megnevezése | Követelmény leírása | |||||
|---|---|---|---|---|---|---|---|
| VV-M-MOD-1 | Módszertani leírás | Módszertani leírás dokumentum csatolása, amely tartalmazza a módszerben felhasznált eszközöket, a módszer részletes leírását, a vizsgálat során keletkezett eredménytermékek leírását. | |||||
| VV-M-MOD-2 | Fizetős szoftver | Amennyiben a módszertani leírásban a felhasznált eszközök közül bármely mérőeszköz használata licence díjhoz kötött, abban az esetben szükséges a mérőeszközhöz a megrendelő/fejlesztő szervezetnek hozzáférést biztosítania a TMI számára. | |||||
Megfelelőségi követelmény
Ezen követelmények laboratóriumi tevékenységenként értelmezettek, úgy mint:
- Kódminőség és alacsony szintű teszt lefedettség vizsgálat,
- Teljesítmény teszt,
- Sérülékenységi teszt.
Kódminőség és alacsony szintű teszt lefedettség vizsgálat módszertan megfelelőségi követelmények
Amennyiben a megrendelő a kódminőség és alacsony szintű teszt lefedettség szolgáltatáselemhez tartozó módszertant szeretné bevizsgáltatni, valamint verifikációs és validációs megfelelőségi nyilatkozatot igényel, abban az esetben a módszertannak az alábbi követelményeket szükséges teljesítenie.
| Követelmény azonosítója | Követelmény megnevezése | Követelmény leírása | |||||
|---|---|---|---|---|---|---|---|
| VV-KM-MT-1 | Előfeltételek | A módszertani leírásban szükséges az ún. bemeneti követelményeket meghatározni, amelyek szükségesek a vizsgálat megkezdéséhez. | |||||
| VV-KM-MT-2 | Eszközök | A módszertani leírásban ki kell fejteni, hogy milyen eszközök kerültek felhasználásra. | |||||
| VV-KM-MT-3 | Sor lefedettség | A módszertani leírásban szükséges meghatározni a sor lefedettség mérési és végrehajtási módját. | |||||
| VV-KM-MT-4 | Karbantarthatósági besorolás | A módszertani leírásban szükséges meghatározni a gyanús kódrészek (code smells) feltárásának módját. | |||||
| VV-KM-MT-5 | Megbízhatósági besorolás | A módszertani leírásban szükséges meghatározni a programhibák feltárásának módját. | |||||
| VV-KM-MT-6 | Biztonsági besorolás | A módszertani leírásban szükséges meghatározni a sérülékenységek feltárásának módját. | |||||
| VV-KM-MT-7 | Eredménytermékek | A módszertani leírásban szükséges kifejteni a keletkezendő eredménytermékek típusait és azok rövid leírását. | |||||
Teljesítmény teszt módszertan megfelelőségi követelmények
Amennyiben a megrendelő a teljesítmény teszt szolgáltatáselemhez tartozó módszertant szeretné bevizsgáltatni, valamint verifikációs és validációs megfelelőségi nyilatkozatot igényel, abban az esetben a módszertannak az alábbi követelményeket szükséges teljesítenie.
| Követelmény azonosítója | Követelmény megnevezése | Követelmény leírása | |||||
|---|---|---|---|---|---|---|---|
| VV-TT-MT-1 | Előfeltételek | A módszertani leírásban szükséges az ún. bemeneti követelményeket meghatározni, amelyek szükségesek a vizsgálat megkezdéséhez. | |||||
| VV-TT-MT-2 | Eszközök | A módszertani leírásban ki kell fejteni, hogy milyen eszközök kerültek felhasználásra. | |||||
| VV-TT-MT-3 | Átlagos válaszidő | A módszertani leírásban szükséges meghatározni az átlagos válaszidő mérésének a módját. | |||||
| VV-TT-MT-4 | Maximális válaszidő | A módszertani leírásban szükséges meghatározni a maximális válaszidő mérésének a módját. | |||||
| VV-TT-MT-5 | Maximális hibaarány | A módszertani leírásban szükséges meghatározni a maximális hibaarány mérésének a módját. | |||||
| VV-TT-MT-6 | Eredménytermékek | A módszertani leírásban szükséges kifejteni a keletkezendő eredménytermékek típusait és azok rövid leírását. | |||||
Sérülékenységi teszt módszertan megfelelőségi követelmények
Amennyiben a megrendelő a sérülékenységi teszt szolgáltatáselemhez tartozó módszertant szeretné bevizsgáltatni, valamint verifikációs és validációs megfelelőségi nyilatkozatot igényel, abban az esetben a módszertannak az alábbi követelményeket szükséges teljesítenie.
| Követelmény azonosítója | Követelmény megnevezése | Követelmény leírása | |||||
|---|---|---|---|---|---|---|---|
| VV-ST-MT-1 | Előfeltételek | A módszertani leírásban szükséges az ún. bemeneti követelményeket meghatározni, amelyek szükségesek a vizsgálat megkezdéséhez. | |||||
| VV-ST-MT-2 | Eszközök | A módszertani leírásban ki kell fejteni, hogy milyen eszközök kerültek felhasználásra. | |||||
| VV-ST-MT-3 | Hibák kockázati besorolása | A mérőeszköznek képesnek kell lennie felfedezni az ismert sérülékenységeket, hibás konfigurációkból eredő biztonsági réseket. Továbbá a feltárt sérülékenységeket kockázati besorolásként kell ismertetnie. | |||||
| VV-ST-MT-4 | Eredménytermékek | A módszertani leírásban szükséges kifejteni a keletkezendő eredménytermékek típusait és azok rövid leírását. | |||||
A vizsgálat leírása
Verifikáció
A verifikáció során igazolásra kerül, hogy a módszertan a meghatározott célnak megfelelően lett
elkészítve. Megvizsgálásra kerül, hogy az előírt megfelelőségi követelményeket lefedi a módszertani
leírás.
A verifikáció lépései:
- 1. Megvizsgálásra kerül, hogy a módszertan megfelel a meghatározott célnak, miszerint:
- a. Kódminőség és alacsony szintű teszt lefedettség vizsgálat esetén megfelel a módszertani leírás a Kódminőség és alacsony szintű teszt lefedettség szolgáltatáselem műszaki leírás szerint.
- b. Teljesítmény teszt esetén megfelel a módszertani leírás a Teljesítmény teszt szolgáltatáselem műszaki leírás szerint.
- c. Sérülékenységi teszt esetén megfelel a módszertani leírás a Sérülékenységi teszt szolgáltatáselem műszaki leírás szerint.
- 2. Értékelésre kerül, hogy a meghatározott megfelelőségi követelményeket lefedi a módszertani leírás.
Validáció
A validáció során érvényesítésre kerül, hogy a módszertan megfelelően lefedi a követelményeket amellett,
hogy egy már verifikált és validált módszertannal összehasonlításra kerül.
A validáció lépései:
- Összehasonlító vizsgálathoz példaprojekt meghatározása.
- Vizsgálathoz szükséges előkészületek elvégzése (környezetek felállítása).
- Vizsgálat futtatása egy már verifikált és validált módszertani leírás szerint.
- Vizsgálat futtatása a verifikálandó és validálandó módszertani leírás szerint.
- Eredmények összehasonlítása és kiértékelése.
- A validációt követően kiállításra kerül a verifikációs és validációs jegyzőkönyv a vizsgált módszertanról.
- A jegyzőkönyvben rögzítettek alapján, amennyiben megfelelt a követelményeknek a módszertani leírás, kiállításra kerül a megfelelőségi nyilatkozat.
Mérőeszköz verifikáció és validáció
Megrendelővel és fejlesztő szervezettel szemben támasztott követelmények
| Követelmény azonosítója | Követelmény megnevezése | Követelmény leírása | |||||
|---|---|---|---|---|---|---|---|
| VV-M-ME-1 | Eszköz | Az eszköz pontos megnevezése. | |||||
| VV-M-ME-2 | Verziószám | Az eszköz pontos verziószáma. | |||||
| VV-M-ME-3 | Felhasználói kézikönyv | A felhasználói kézikönyv, amely tartalmazza a funkcióknak a leírását; vagy felhasználói kézikönyv tartalmának megfeleltethető tartalom elérhetősége. | |||||
| VV-M-ME-4 | Üzemeltetési kézikönyv | Az üzemeltetési kézikönyv, amely tartalmazza a mérőeszköz telepítését, üzembehelyezését; vagy az üzemeltetési kézikönyv tartalmának megfeleltethető tartalom elérhetősége. | |||||
| VV-M-ME-5 | Fizetős szoftver | Amennyiben a megvizsgálandó mérőeszköz használata licence díjhoz kötött, abban az esetben a megrendelőnek/fejlesztő szervezetnek szükséges biztosítani a TMI számára a mérőeszközhöz való hozzáférést. | |||||
Megfelelőségi követelmény
Ezen követelmények laboratóriumi tevékenységenként értelmezettek, úgy mint:
- Kódminőség és alacsony szintű teszt lefedettség vizsgálat,
- Teljesítmény teszt,
- Sérülékenységi teszt.
Kódminőség és alacsony szintű teszt lefedettség vizsgálat mérőeszköz megfelelőségi követelmények
Amennyiben az ügyfél kódminőség és alacsony szintű teszt lefedettség szolgáltatáselemhez tartozó mérőeszközt szeretne bevizsgáltatni, valamint verifikációs és validációs megfelelőségi nyilatkozat igényel, abban az esetben a mérőeszköznek az alábbi követelményeket szükséges teljesítenie.
| Követelmény azonosítója | Követelmény megnevezése | Követelmény leírása | |||||
|---|---|---|---|---|---|---|---|
| VV-KM-ME-1 | Sor lefedettség | A mérőeszköznek szükséges ellenőrizni, és legalább százalékos értékben megadni, hogy a forráskódot milyen arányban fedi le komponens teszt. | |||||
| VV-KM-ME-2 | Karbantarthatósági besorolás | A mérőeszköznek szükséges mérnie a gyanús kódrészeket (code smells), amelyek a karbantarthatóságot nagyban befolyásolják. | |||||
| VV-KM-ME-3 | Megbízhatósági besorolás | A mérőeszköznek szükséges mérnie a programhibák számosságát, valamint képesnek kell lennie az eszköznek a súlyosság szerint besorolni a programhibákat. | |||||
| VV-KM-ME-4 | Biztonsági besorolás | A mérőeszköznek képesnek kell lennie a forráskódban rejlő sérülékenységek felfedezésére. | |||||
Teljesítmény teszt mérőeszköz megfelelőségi követelmények
Amennyiben az ügyfél teljesítmény teszt szolgáltatáselemhez tartozó mérőeszközt szeretne bevizsgáltatni, valamint verifikációs és validációs megfelelőségi nyilatkozat igényel, abban az esetben a mérőeszköznek az alábbi követelményeket szükséges teljesítenie.
| Követelmény azonosítója | Követelmény megnevezése | Követelmény leírása | |||||
|---|---|---|---|---|---|---|---|
| VV-TT-ME-1 | Átlagos válaszidő | A mérő szoftvernek képesnek kell lennie, hogy vizsgálja a teljesítmény teszt végrehajtása során az összes kérés átlagos válaszidejét (milliszekundumban). | |||||
| VV-TT-ME-2 | Maximális válaszidő | A mérőeszköznek képesnek kell lennie, hogy vizsgálja a teljesítmény teszt végrehajtása során a maximális válaszidőt (milliszekundumban). | |||||
| VV-TT-ME-3 | Maximális hibaarány | A mérőeszköznek képesnek kell lennie, hogy vizsgálja a végrehajtott összes kérés közül a hibával végződő kérések arányát a meghatározott szimulált felhasználószám mellett. | |||||
| VV-TT-ME-4 | Párhuzamos folyamatok szimulálása | A mérőeszköznek képesnek kell lennie, hogy a kéréseket párhuzamosan legyen lehetőség futtatni, ezzel szimulálva több felhasználó egyidejű interakcióját. | |||||
Sérülékenységi teszt mérőeszköz megfelelőségi követelmények
| Követelmény azonosítója | Követelmény megnevezése | Követelmény leírása | |||||
|---|---|---|---|---|---|---|---|
| VV-ST-ME-1 | Hibák kockázati besorolása | A mérőeszköznek képesnek kell lennie felfedezni az ismert sérülékenységeket, hibás konfigurációkból eredő biztonsági réseket. Továbbá a feltárt sérülékenységeket kockázati besorolásként kell ismertetnie. | |||||
A vizsgálat leírása
Verifikáció
A verifikáció során igazolásra kerül, hogy a mérőeszköz a meghatározott célnak megfelelően alkalmazható.
Megvizsgálásra kerül, hogy az előírt megfelelőségi követelményeket lefedi a mérőeszköz.
A verifikáció lépései:
- 1. Megvizsgálásra kerül a mérőeszköz a következők alapján:
- a. megbízható forrásból származik,
- b. működésük és mérésük alátámasztásra kerül hivatalos fórumokon vagy tudományos bejegyzésekben,
- 2. Megvizsgálásra kerül, hogy az adott mérőeszköz megfelel a meghatározott céloknak, miszerint:
- a. Kódminőség és alacsony szintű teszt lefedettség vizsgálat esetén megfelel a mérőeszköz a Kódminőség és alacsony szintű teszt lefedettség szolgáltatáselem műszaki leírás szerint.
- b. Teljesítmény teszt esetén megfelel a mérőeszköz a Teljesítmény teszt szolgáltatáselem a műszaki leírás szerint
- c. Sérülékenységi teszt esetén megfelel a mérőeszköz a Sérülékenységi teszt szolgáltatáselem műszaki leírás szerint.
- 3. Megvizsgálásra kerül, hogy az adott mérőeszköz lefedi a megfelelőségi követelményeket.
Validáció
A validáció során érvényesítésre kerül, hogy a mérőeszköz megfelelően lefedi a követelményeket, amelyek
igazolásra kerülnek végrehajtott tesztekkel.
A validáció lépései:
- Követelményekből tesztesetek leképzése.
- Tesztesetek végrehajtása.
- Eredmények dokumentálása.
- A validációt követően kiállításra kerül a verifikációs és validációs jegyzőkönyv a vizsgált mérőeszközről.
- A jegyzőkönyvben rögzítettek alapján, amennyiben megfelelt a követelményeknek a mérőeszköz, kiállításra kerül a megfelelőségi nyilatkozat.