Validation of the Nuclear Cataract Grading System BCN 10

Abstract

doel: het evalueren van een nieuw nucleair cataract grading system dat bedoeld is als een chirurgisch geleidingssysteem om de hardheid van de lens te voorspellen vóór cataractchirurgie. Methoden: het nieuwe BCN 10 grading systeem bestaat uit frontale en dwarsdoorsnede spleetlamp beelden van menselijke ooglenzen, variërend van een volledig transparante lenskern tot een volledig zwarte nucleaire cataract. De validatie werd uitgevoerd met 9 waarnemers voor 110 gevallen. Twee modaliteiten werden toegepast, en waarnemers werd gevraagd om alleen hele cijfers en vervolgens halve cijfers te gebruiken voor het sorteren. Resultaten: de herhaalbaarheid met betrekking tot de verschillen in de test-hertest liet een gemiddelde grens van overeenstemming zien van 1,70 voor hele cijfers en 1,32 voor halve cijfers. De absolute test-hertest verschil was dicht bij nul voor lage en hoge graden van staar. Betrouwbaarheid voor de gehele groep van 9 waarnemers leverde een intraclass correlatiecoëfficiënt op die binnen hetzelfde betrouwbaarheidsinterval lag, d.w.z. 0,991-0.995, voor hele en halve cijfers. Conclusies: de ernst van de cataract beïnvloedde de herhaalbaarheid van de BCN 10-grading niet. Het toonde zeer goede herhaalbaarheid. De herhaalbaarheid was significant hoger wanneer de waarnemers halve cijfers gebruikten in vergelijking met hele cijfers. De betrouwbaarheid bleek ook zeer goed, onafhankelijk van het gebruik van hele of halve cijfers.

© 2017 de Auteur (s) gepubliceerd door S. Karger AG, Bazel

Inleiding

de ontwikkeling van fotografische standaarden voor de indeling van cataracten heeft de beoordeling van opaciteiten en kleuring in de kristallijne lens vergemakkelijkt. Bij klinische toepassing zal er echter altijd een zekere mate van subjectiviteit zijn, omdat dit zal afhangen van het oordeel van de onderzoeker.

deze sorteersystemen zijn ontworpen om gemakkelijk te leren en toe te passen en reproduceerbaar te zijn. Verschillende classificatiesystemen van cataract zijn voorgesteld, met verschillende niveaus van complexiteit afhankelijk van de toepassingen waarvoor zij werden ontworpen (d.w.z., diagnose, epidemiologische studies, analyse van risicofactoren, studies van potentiële anticataract drugs, en prechirurgische beoordeling).

een classificatieschaal kan worden gedefinieerd als een instrument waarmee de ernst van een aandoening kan worden gekwantificeerd aan de hand van een reeks gestandaardiseerde beschrijvingen of illustraties . Momenteel, in plaats van het toepassen van beschrijvende of kwalitatieve termen, zoals beginnende, mild, ernstig, of volwassen, om een stadium van ontwikkeling van staar aan te geven, worden numerieke scaling of grading systemen vaak gebruikt. De clinicus maakt een observatie en kent een numerieke waarde toe, en dit nummer dient als referentie op basis waarvan elke toekomstige verandering kan worden beoordeeld.

de handicap van het gebruik van een sorteerschaal is dat we het continue proces van staarontwikkeling moeten verdelen in discrete groepen. Dit kan leiden tot een schaal die te grof kan zijn. Wanneer een schaal te grof is, is de concordantietendens hoger, maar de gevoeligheid lager. Met behulp van een fijnere schaal kan aanzienlijk verbeteren van de capaciteit van de arts of onderzoeker om kleine veranderingen te ontdekken . Aan de andere kant hebben sommige studies vastgesteld dat, zelfs wanneer de schaal voor stappen van 0,1 toelaat, er een tendens is voor waarnemers om de veranderingen voornamelijk te classificeren met stappen van 1 of 0,5 .

het Oxford-systeem is een voorbeeld van een complex sorteersysteem waarin een groot aantal cataractkenmerken moet worden geanalyseerd; dit omvat projectie van een resolutiedoel met een oftalmoscoop en spleetlampevaluatie voor corticale en nucleaire lagen, die verschillende cataractmorfologieën zoals vacuolen, retro punten, brandpuntspunten, nucleaire brunescentie, en witte nucleaire verstrooiing omvat. Het is een zeer gedetailleerde en complexe classificatie, maar het is moeilijk om klinisch toe te passen. Andere voorgestelde systemen, eenvoudiger in termen van ontwerp, implementatie en reproduceerbaarheid, zijn voornamelijk ontworpen voor epidemiologische studies. Een voorbeeld is het Japanse coöperatieve cataract Epidemiologie Studiegroepsysteem . Het is ook gebaseerd op gestandaardiseerde beelden en is ontworpen om eenvoudig en gemakkelijk te gebruiken, ten koste van nauwkeurigheid en de mogelijkheid om kleine variaties te detecteren. Een ander voorbeeld is het WHO Simplified Cataract Grading System, een initiatief van de Wereldgezondheidsorganisatie. Zij hadden tot doel de in verschillende andere classificaties gebruikte criteria te uniformeren en te vereenvoudigen. Het meest gebruikte systeem vandaag is de lens Opacities Classification System III (LOCS III), dat is een grafiek die bestaat uit 6 spleet-lamp beelden voor het sorteren van nucleaire kleur en nucleaire opalescentie, 5 retroillumination beelden voor het sorteren corticale staar, en 5 retroillumination beelden voor het sorteren posterieure subcapsulaire staar.

ons voorgestelde beoordelingssysteem BCN 10 is bedoeld als een klinisch en chirurgisch geleidingssysteem. Het richt zich voornamelijk op de kern, omdat het de meest kritische component is voor het voorspellen van chirurgische behoeften en het kiezen van de meest geschikte chirurgische techniek volgens de hardheid van de kern. Een speciale nadruk is gelegd op meer geavanceerde stadia van staar, die precies degenen zijn die moeilijker zijn om te werken op. In dit opzicht heeft de LOCS III bepaalde beperkingen te wijten aan het feit dat het niet de meer geavanceerde graden van cataract omvat.

in deze studie valideren we ons nucleaire cataract grading system BCN 10.

methoden

het nucleaire Grading System van Bcn 10

het BCN 10 grading system wordt geleverd als een gelamineerd diagram in A4-formaat met foto ‘ s met hoge resolutie. Deze foto ‘ s zijn gemaakt door het fotografiepersoneel met behulp van een Zeiss-spleetlamp (Carl Zeiss AG; Oberkochen, Duitsland) met de volgende instellingen: breedte van de bundel, 10 mm; hoogte voor een frontale weergave, 10 mm; en hoogte en breedte bij 45° voor een dwarsdoorsnede, respectievelijk 10 en 1 mm.

het systeem verdeelt de progressie van de nucleaire cataract in een heldere lens (N0) en 10 graden van opacificatie (N1 tot N10). Deze mate van ondoorzichtigheid is onze grading scale unit. De grading systeem grafiek toont een grote spleet-lamp dwarsdoorsnede beeld, een kleinere frontale Beeld, en de relatieve kleur voor elke fase van de ontwikkeling van cataract (Fig. 1). De kwaliteiten werden in gelijke intervallen gekozen van een normale oude kristallijne lens (N1) tot een volledig donkere lens (cataracta nigra – N10).

Fig. 1

BCN 10 diagram van het kernsorteersysteem met een dwarsdoorsnede van de spleetlamp, een kleiner beeld aan de voorkant en de relatieve kleur voor elk stadium van de ontwikkeling van cataract (N0 tot N10).

http://www.karger.com/WebMaterial/ShowPic/832445

validatieproces

de basis voor het validatieproces was gestandaardiseerde foto ‘ s van 110 patiënten die waren ingepland voor een cataractoperatie in het Centro de Oftalmología Barraquer. Patiënten werden geselecteerd om alle gradaties van cataract in gelijke mate te dekken. Dit omvatte een vooraanzicht van het oog en een dwarsdoorsnede, beide met verwijde pupillen, genomen bij de spleetlamp door de fotografiemedewerkers van de kliniek. De foto ‘ s werden willekeurig gepresenteerd op een computerscherm en moesten vergeleken worden met de BCN 10 kaart aan de zijkant.

waarnemers voor het validatieproces waren 3 oogchirurgen en 6 oogartsen (aan het einde van hun opleiding). Het validatieproces werd gedaan voor 2 verschillende modaliteiten, eerst waardoor het gebruik van slechts 1-grade stappen (hele cijfers), wat resulteert in 11 sorteerstappen, en ongeveer 6 maanden later waardoor 0,5-grade stappen (halve cijfers), wat resulteert in een totaal van 21 sorteerstappen.

De indeling voor beide modaliteiten werd tweemaal uitgevoerd met een interval van ongeveer 3 weken om de herhaalbaarheid van de graderingsresultaten te evalueren. Herhaalbaarheid, of intraobserver overeenkomst, betekent het vermogen van de grader om vergelijkbare resultaten te geven voor een herhaalde test (test-hertest) onder dezelfde omstandigheden. We evalueerden ook de betrouwbaarheid of precisie van het beoordelingssysteem, dat is de nauwkeurigheid van alle waarnemers in het geven van dezelfde waarde aan hetzelfde object van evaluatie. Betrouwbaarheid kan worden aangeduid als interobserver overeenkomst .

statistische analyse

wij beschouwen onze schaaleenheid (mate van opaciteit) als continue en kwantitatieve gegevens. De gradaties van de BCN 10-grafiek zijn in gelijke intervallen gekozen en worden beoordeeld met 11 of 21 gradatiestappen.

De Bland-Altman-benadering werd gebruikt om de herhaalbaarheid te evalueren. Het is van toepassing op een diagram dat het verschil of de discrepantie tussen twee herhaalde waarnemingen uitgezet tegen het gemiddelde van beide waarnemingen toont. De standaardafwijking van alle verschillen vermenigvuldigd met 1,96 geeft de zogenaamde grenzen van overeenstemming of coëfficiënt van herhaalbaarheid . De waarden van de grenzen van overeenstemming zijn uitgedrukt in schaaleenheden (graden van opaciteit). Hoe lager de waarde van de limiet van overeenkomst, hoe beter de herhaalbaarheid.

De intraclass correlatiecoëfficiënt (ICC) werd toegepast om zowel de herhaalbaarheid als de betrouwbaarheid te evalueren. De ICC-schatting is gebaseerd op analyse van variantietechnieken. Het kan heel tussen 0 en 1. De maximale waarde is 1 wanneer alle waarnemers dezelfde rang toekennen. Het cijfer moet groter zijn dan 0,7 om als betrouwbaar te kunnen worden beschouwd .

we berekenden de ICC met SPSS versie 13.0 (SPSS Inc., Chicago, IL, USA) kiezen voor de optie statistische betrouwbaarheidsanalyse met het model Alfa. Gebaseerd op het feit dat we een steekproef van waarnemers en gevallen hadden, gebruikten we het tweerichtings-willekeurig model en selecteerden we absolute overeenstemming. De resultaten van de afzonderlijke metingen werden gebruikt om de herhaalbaarheid te evalueren, en de gemiddelde metingen werden gebruikt voor de betrouwbaarheid.

De significantieniveau en betrouwbaarheidscoëfficiënten werden vastgesteld op respectievelijk 0,05 en 0,95.

resultaten

de test-hertest responses van de 9 waarnemers voor de 110 gevallen voor beide modaliteiten, d.w.z. hele en halve cijfers, werden beoordeeld op herhaalbaarheid. De gemiddelde discrepantie tussen de twee herhaalde tests was bijna nul voor alle waarnemers, variërend tussen -0,308 en +0,514 voor hele cijfers en tussen -0,311 en +0,261 voor halve cijfers. De grenzen van overeenstemming varieerden van 1,09 tot 2,78 voor hele cijfers en van 0,94 tot 1,70 voor halve cijfers (Fig. 2a, b). Een gepaarde t-test toonde aan dat de gemiddelde limiet van overeenstemming met hele cijfers (d.w.z. 1,70) significant hoger was in vergelijking met de waarde met halve cijfers (d.w.z. 1,32), met p = 0,008.

Fig. 2

a, b gemiddelde test-hertestverschil (discrepantie) met overeenkomstige grenzen van overeenstemming voor alle individuele waarnemers die 110 gevallen Sorteren, waarbij 2 modaliteiten worden toegepast: gebruik van alleen hele cijfers (A) of halve cijfers (b) voor de indeling. De stippellijn geeft geen discrepantie aan. Het sterretje geeft een significant verschil aan van de gemiddelde grenzen van overeenstemming, waarbij het gebruik van hele en halve cijfers wordt vergeleken. C, d Bland-Altman plots voor alle test-hertest verschillen van alle negen waarnemers samengevoegd voor gehele (c) en halve cijfers (d). Horizontale lijnen geven het totale gemiddelde verschil aan en de respectieve grenzen van overeenstemming die voor alle waarnemers samen zijn berekend.

http://www.karger.com/WebMaterial/ShowPic/832444

we hebben ook alle 990 herhaalde waarnemingen van onze 9 waarnemers samengebracht in één flauw-Altmann-plot (Fig. 2c, d). Figuur 2 laat zien dat alle soorten opacificatie van N0 tot N10 op evenwichtige wijze aanwezig waren. De discrepantie tussen test-en hertestwaarden was bijna nul voor zowel lage als hoge graden van staar. De gecombineerde gemiddelde discrepantie was -0,033 en -0,062 en de gecombineerde limiet van overeenkomst was 1,81 en 1,38 voor hele en halve cijfers, respectievelijk (Fig. 2c, d).

de ICC voor waarnemer herhaalbaarheid was lager voor hele cijfers (gemiddeld 0,951, bereik 0,880-0,981) in vergelijking met halve cijfers (gemiddeld 0,971, bereik 0,955-0,982). Dit verschil was statistisch significant (P = 0,043; Tabel 1).

Tabel 1

ICC voor elke waarnemer (herhaalbaarheid) en voor de gehele groep (betrouwbaarheid) met hele en halve cijfers voor de nucleaire cataract beoordelingssysteem BCN 10

http://www.karger.com/WebMaterial/ShowPic/832446

De ICC voor betrouwbaarheid, rekening houdend met alle 9 waarnemers samen, was zeer hoog (0.993 en 0.994), maar niet voor hele en halve cijfers zoals weergegeven door het betrouwbaarheidsinterval van het ICC, die tussen 0.991 en 0.995 voor zowel de indeling van modaliteiten (Tabel 1).

discussie

het BCN 10-beoordelingssysteem is ontworpen voor gebruik in de spleetlamp met de patiënt vooraan. Voor het validatieproces was het echter niet praktisch voor alle 9 waarnemers om dezelfde 110 patiënten persoonlijk voor een spleetlamp te hebben. Daarom werd validatie gedaan met behulp van gestandaardiseerde foto ‘ s op hetzelfde type computerscherm. Dit kan enige extra variatie hebben gebracht met betrekking tot het feit dat de patiënt voor de spleetlamp staat.

Er is een voortdurende discussie over welke metrische en statistische test te gebruiken voor kwantificering en vergelijking van herhaalbaarheid en betrouwbaarheid. De Bland-Altman benadering is eenvoudig en richt zich op het verschil tussen observaties. Het ICC richt zich, zoals de naam al aangeeft, op correlaties. Het kwantificeert de correlatie tussen waarnemers zeer goed, maar het is ongevoelig voor systematische fouten. We gebruikten beide benaderingen in onze validatieanalyse.

het BCN 10-gradingsysteem voor nucleaire staar leverde een zeer goede herhaalbaarheid op in termen van correlatie, met een gemiddeld ICC van 0.951 voor hele cijfers en 0,971 voor halve cijfers. Een sorteersysteem wordt beschouwd als uitstekende resultaten wanneer het ICC groter is dan 0,75 .

in absolute termen gaf ons systeem een betrouwbaarheidsgraad van de herhaalbaarheid, of een limiet van overeenstemming, van 1,70 schaaleenheden voor hele cijfers en 1,32 voor halve cijfers. Dit wordt vergeleken met 2.0 grading scale eenheden gerapporteerd voor de LOCS II (hele cijfers) en 0,7 voor de LOCS III (decimale cijfers) voor nucleaire kleur en opalescentie . Men moet er rekening mee houden dat de LOCS een schaal van 0 tot 6 gebruikt en in de LOCS III ziet de waarnemer beelden voor 5 graden van ondoorzichtigheid (een helder lensbeeld ontbreekt) en wordt gevraagd om de cataract te rangschikken met 0,1 stappen (interpoleren tussen de beelden die hele cijfers vertegenwoordigen). Dergelijke kleine stappen van 0,1 zijn bekend om smallere grenzen van overeenstemming te bieden . Aan de andere kant, hebben sommige studies opgemerkt dat, zelfs wanneer de schaal voor verhogingen van 0,1 toelaat, er een tendens is voor de rater om de veranderingen hoofdzakelijk gebruikend verhogingen van 1 of 0,5 te classificeren . Daarom vroegen we waarnemers in onze tweede modaliteit om halve cijfers te gebruiken. Wij denken dat dit heeft geresulteerd in een redelijk compromis tussen praktische toepassing en relatief lage grenzen van overeenstemming van 1,32 sorteerschaal eenheden, gezien onze schaal van 0 tot 10.geautomatiseerde optische apparaten zoals de Pentacam (Oculus GmbH, Wetzlar-Dutenhofen, Duitsland) of het Optical Quality Analysis System (Visiometrics SL, Tarrasa, Spanje) worstelen om nauwkeurige resultaten te geven in gevallen van ernstige staar (bijvoorbeeld BCN 10 graden boven 6). Deze objectieve apparaten vertrouwen op de transmissie van licht door de kristallijne lens. Scheimpflug systemen analyseren de toename van backscatter als staar vooruitgang; echter, geavanceerde staar aanwezig minder backscatter omdat licht wordt geabsorbeerd. Dubbeldoorlaatsystemen moeten het meetlicht tweemaal door de lens laten lopen. Bij zeer ondoorzichtige lenzen werkt dit niet goed. Met name, voor zover wij weten, zijn deze geautomatiseerde optische apparaten alleen getest in gevallen van lichte tot matige staar (tot LOCS III graad 4) .

ons systeem kan vooral nuttig zijn in ontwikkelingslanden vanwege hun gebrek aan toegang tot deze objectieve testapparatuur. Deze landen hebben ook een prevalentie van hogergradige staar, die andere beeldgebaseerde beoordelingssystemen niet in aanmerking nemen .

De gradatieherhalingsnauwkeurigheid voor BCN 10 werd niet beïnvloed door de ernst van de cataract, omdat we ontdekten dat de absolute verschillen in test-hertest voor zowel lage als hoge graden van cataract dicht bij nul waren (Fig. 2a, b).

de betrouwbaarheid van BCN 10 voor de gehele groep van 9 waarnemers gaf een ICC die binnen hetzelfde betrouwbaarheidsinterval lag, d.w.z. 0,991-0,995, voor hele en halve cijfers. Dit vertegenwoordigt uitstekende betrouwbaarheid en het feit dat het hetzelfde is voor beide modaliteiten geeft de gebruiker de mogelijkheid om hele of halve cijfers toe te passen, hoewel we zouden adviseren halve cijfers vanwege de betere herhaalbaarheid.

Informatieverklaring

De auteurs hebben geen eigendomsbelangen in de in dit artikel beschreven materialen en zij hebben geen belangenconflicten aan te geven.

  1. Efron n, Morgan PB, Katsara SS: Validation of grading scales for contactlens complicaties. Oftalmische Physiol Opt 2001; 21: 17-29. Bullimore MA, Bailey IL: Considerations in the subjective assessment of cataract. Optom Vis Sci 1993; 70: 880-885.
  2. Bailey IL, Bullimore MA, Raasch TW, Taylor HR: Clinical grading and the effects of scaling. Invest Ophthalmol Vis Sci 1991; 32: 422-432. Sparrow JM, Bron AJ, Brown NA, Ayliffe W, Hill AR: The Oxford Clinical Cataract Classification and Grading System. Int Ophthalmol 1986; 9: 207-225.
  3. Sasaki K, Shibata T, Obazawa H, Fujiwara T, Kogure F, Obara Y, Itoi M, Katou K, Akiyama K, Okuyama S: Classification system for cataract: application by the Japanese Cooperative Cataract Epidemiology Study Group. Oftalmisch Res 1990; 22 (suppl 1): 46-50.
  4. Thylefors B, Chylack LT Jr, Konyama K, Sasaki K, Sperduto R, Taylor HR, West s: a simplified cataract grading system. Oftalmische Epidemiol 2002; 9: 83-95. Chylack LT Jr, Wolfe JK, Singer DM, Leske MC, Bullimore MA, Bailey IL, Friend J, McCarthy D, Wu SY: the Lens Opacities Classification System III. De longitudinale studie van Cataract studiegroep. Arch Ophthalmol 1993; 111: 831-836. Wong AL, Leung CK ,Weinreb RN, Cheng AK, Cheung CY, Lam PT, Pang CP, Lam DS: Quantitative assessment of lens opacities with anterior segment optical coherence tomography. Br J Ophthalmol 2009; 93: 61-65.
  5. Chong E, Simpson T, Fonn D: de herhaalbaarheid van discrete en continue anterior segment grading schalen. Optom Vis Sci 2000; 77: 244-251.
  6. Bland JM, Altman DG: Statistical methods for assessing agreement between two methods of clinical measurement. Lancet 1986; 1: 307-310.
  7. Koch GG: Intraclass correlation coefficient; in Kotz S, Johnson NL (eds): Encyclopedia of Statistical Sciences 4. New York, Wiley, 1982, pp 213-217.
  8. Zaki R, Bulgiba A, Nordin N, Azina IN: a systematic review of statistical methods used to test for reliability of medical instruments measuring continuous variables. Iran J Basic Med Sci 2013; 16: 803-807.
  9. Pan AP, Wang QM, Huang F, Huang JH, Bao FJ, Yu AY: Correlatie tussen Lensopaciteiten classificatiesysteem III grading, Visual Function Index-14, pentacam nucleus staging, en objective scatter index voor cataract assessment. Am J Ophthalmol 2015; 159: 241-247. Cochener B, Patel SR, Galliot F: Correlational analysis of objective and subjective measures of cataract quantification. J Refract Surg 2016; 32: 104-109.
  10. Artal P, Benito A, Perez GM, Alcon E, De Casa A, Pujol J, Marin JM: an objective scatter index based on double-pass retinal images of a point source to classificate cataracts. PLoS One 2011; 6: e16823.
  11. Lam D, Rao SK, Ratra V, Liu Y, Mitchell P, King J, Tassignon MJ, Jonas J, Pang CP, Chang DF: Cataract. Nat Rev Dis Primers 2015; 1: 15014.

Auteur Contacten

Ralph Michael

Institut Universitari Barraquer

Laforja 88

ES-08021 Barcelona (Spanje)

E-Mail [email protected]

Artikel / Publicatie-Details

de Eerste Pagina in Preview

Abstract van de Oorspronkelijke Papieren

Ontvangen: November 03, 2016
Geaccepteerd: januari 18, 2017
online Gepubliceerd: Maart 14, 2017
Issue release date: April 2017

aantal gedrukte pagina ‘ s: 5
aantal figuren: 2
aantal tabellen: 1

ISSN: 0030-3747 (Print)
eISSN: 1423-0259 (Online)

voor aanvullende informatie: https://www.karger.com/ORE

Open Access Dit artikel is gelicenseerd onder de Creative Commons Naamsvermelding-NietCommercieel-GelijkDelen 4.0 International Licentie (CC BY-NC-ND). Voor gebruik en distributie voor commerciële doeleinden en voor elke distributie van gewijzigd materiaal is schriftelijke toestemming vereist. Drug dosering: de auteurs en de uitgever hebben alles in het werk gesteld om ervoor te zorgen dat de drug selectie en dosering zoals uiteengezet in deze tekst in overeenstemming zijn met de huidige aanbevelingen en praktijk op het moment van publicatie. Gezien het lopende onderzoek, de wijzigingen in de overheidsvoorschriften en de constante stroom van informatie met betrekking tot medicamenteuze therapie en medicijnreacties, wordt de lezer echter verzocht de bijsluiter voor elk geneesmiddel te controleren op eventuele veranderingen in indicaties en dosering en op toegevoegde waarschuwingen en voorzorgsmaatregelen. Dit is vooral belangrijk wanneer het aanbevolen middel een nieuw en/of zelden gebruikt geneesmiddel is. Disclaimer: De verklaringen, meningen en gegevens in deze publicatie zijn uitsluitend die van de individuele auteurs en bijdragers en niet van de uitgevers en de redacteur(s). Het verschijnen van advertenties of/en productreferenties in de publicatie is geen garantie, goedkeuring of goedkeuring van de geadverteerde producten of diensten of van hun effectiviteit, kwaliteit of veiligheid. De uitgever en de redacteur(s) wijzen de verantwoordelijkheid af voor eventuele schade aan personen of goederen als gevolg van ideeën, methoden, instructies of producten waarnaar in de inhoud of advertenties wordt verwezen.

Geef een antwoord

Het e-mailadres wordt niet gepubliceerd.