Validation of the Nuclear Cataract Grading System BCN 10

Abstract

cel: ocena nowego systemu klasyfikacji katarakty jądrowej, który jest przeznaczony jako system naprowadzania chirurgicznego do przewidywania twardości soczewki przed operacją zaćmy. Metody: nowy system klasyfikacji BCN 10 składa się z przednich i przekrojowych obrazów soczewek ludzkiego oka z lampą szczelinową, od całkowicie przezroczystego jądra soczewki do całkowicie czarnej zaćmy jądrowej. Walidacja została przeprowadzona z udziałem 9 obserwatorów dla 110 przypadków. Zastosowano dwie metody, a obserwatorzy zostali poproszeni o użycie tylko całych cyfr, a następnie pół cyfr do klasyfikacji. Wyniki: powtarzalność w odniesieniu do różnic test-retest wykazała średnią granicę porozumienia 1,70 dla całych cyfr i 1,32 dla pół cyfr. Bezwzględna różnica między testem a ponownym badaniem była bliska zeru zarówno dla niskich, jak i wysokich stopni zaćmy. Wiarygodność dla całej grupy 9 obserwatorów dała współczynnik korelacji wewnątrzklasowej, który znajdował się w tym samym przedziale ufności, tj. 0,991-0.995, dla całych i półcyfrowych cyfr. Wnioski: stopień ciężkości zaćmy nie wpływał na powtarzalność klasyfikacji BCN 10. Wykazał się bardzo dobrą powtarzalnością. Powtarzalność była znacznie wyższa, gdy obserwatorzy używali pół cyfr w porównaniu do całych cyfr. Niezawodność okazała się również bardzo dobra, niezależnie od użycia całych lub pół cyfr.

© 2017 Autor(autorzy) Published by S. Karger AG, Bazylea

wprowadzenie

opracowanie standardów fotograficznych klasyfikacji zaćmy ułatwiło ocenę zmętnienia i zabarwienia w soczewce krystalicznej. Jednak w zastosowaniu klinicznym zawsze będzie pewien stopień subiektywności, ponieważ będzie to zależeć od osądu egzaminatora.

te systemy klasyfikacji zostały zaprojektowane tak, aby były łatwe do nauczenia i zastosowania oraz aby były powtarzalne. Zaproponowano różne systemy klasyfikacji zaćmy, o różnych poziomach złożoności w zależności od zastosowań, dla których zostały zaprojektowane (tj. diagnoza, badania epidemiologiczne, analiza czynników ryzyka, badania potencjalnych leków antykatarakterystycznych i ocena przedoperacyjna).

skala ocen może być zdefiniowana jako narzędzie, które umożliwia kwantyfikację ciężkości stanu w odniesieniu do zestawu znormalizowanych opisów lub ilustracji . Obecnie zamiast stosowania opisowych lub jakościowych terminów, takich jak Początkowy, łagodny, ciężki lub dojrzały, aby wskazać etap rozwoju zaćmy, często stosuje się numeryczne systemy skalowania lub klasyfikacji. Lekarz dokonuje obserwacji i przypisuje wartość liczbową, a liczba ta służy jako odniesienie, na podstawie którego można ocenić każdą przyszłą zmianę.

utrudnienie w stosowaniu skali stopniowania polega na tym, że musimy podzielić ciągły proces rozwoju zaćmy na odrębne grupy. Może to prowadzić do skali, która może być zbyt gruba. Gdy skala jest zbyt gruba, tendencja do konkordancji jest wyższa, ale czułość jest niższa. Korzystanie z drobniejszej skali może znacznie zwiększyć zdolność klinicysty lub badacza do wykrywania małych zmian . Z drugiej strony, niektóre badania wykazały, że nawet jeśli skala pozwala na przyrosty 0,1, obserwatorzy mają tendencję do klasyfikowania zmian głównie za pomocą przyrostów 1 lub 0,5 .

System Oksfordzki jest przykładem złożonego systemu klasyfikacji, w którym należy przeanalizować dużą liczbę cech zaćmy; obejmuje to projekcję celu rozdzielczości za pomocą oftalmoskopu i oceny lampy szczelinowej dla warstw korowych i jądrowych, która obejmuje różne morfologie zaćmy, takie jak wakuole, retro kropki, ogniskowe kropki, brunescencja jądrowa i białe rozproszenie jądrowe. Jest to bardzo szczegółowa i złożona klasyfikacja, ale trudno ją zastosować klinicznie. Inne proponowane systemy, prostsze pod względem projektowania, wdrażania i odtwarzalności, zostały zaprojektowane przede wszystkim do badań epidemiologicznych. Jednym z przykładów jest japoński kooperatywny System Epidemiologii zaćmy . Jest również oparty na standardowych obrazach i został zaprojektowany tak, aby był prosty i łatwy w użyciu, poświęcając dokładność i zdolność do wykrywania małych zmian. Innym przykładem jest uproszczony system klasyfikacji zaćmy WHO, inicjatywa Światowej Organizacji Zdrowia. Ich celem było ujednolicenie i uproszczenie kryteriów stosowanych w kilku innych klasyfikacjach. Najczęściej stosowanym obecnie systemem jest system klasyfikacji zmętnienia soczewki III (LOCS III), który jest wykresem składającym się z 6 obrazów lampy szczelinowej do klasyfikacji koloru jądrowego i opalescencji jądrowej, 5 obrazów retroilluminacji do klasyfikacji zaćmy korowej i 5 obrazów retroilluminacji do klasyfikacji zaćmy tylnej.

proponowany przez nas system klasyfikacji BCN 10 jest przeznaczony do prowadzenia badań klinicznych i chirurgicznych. Koncentruje się przede wszystkim na jądrze, ponieważ jest to najbardziej krytyczny element do przewidywania potrzeb chirurgicznych i wyboru najbardziej odpowiedniej techniki chirurgicznej w zależności od twardości jądra. Szczególny nacisk położono na bardziej zaawansowane stadia zaćmy, które są właśnie tymi trudniejszymi do operowania. Pod tym względem LOCS III ma pewne ograniczenia ze względu na fakt, że nie obejmuje bardziej zaawansowanych stopni zaćmy.

w niniejszym opracowaniu zatwierdzamy nasz system klasyfikacji katarakty jądrowej BCN 10.

metody

System Klasyfikacji jądrowej Bcn 10

system klasyfikacji jądrowej BCN 10 jest dostarczany jako laminowany Wykres formatu A4 ze zdjęciami o wysokiej rozdzielczości. Zdjęcia te zostały wykonane przez personel fotograficzny przy użyciu lampy szczelinowej Zeiss (Carl Zeiss AG; Oberkochen, Niemcy) z następującymi ustawieniami: szerokość wiązki, 10 mm; Wysokość dla widoku od przodu, 10 mm; oraz wysokość i szerokość w 45° dla widoku przekroju, odpowiednio, 10 i 1 mm.

system dzieli postęp zaćmy jądrowej na wyjściową przezroczystą soczewkę (N0) i 10 stopni zmętnienia (N1 do N10). Ten stopień nieprzezroczystości jest naszą jednostką skali stopniowania. Wykres systemu klasyfikacji pokazuje duży obraz przekrojowy lampy szczelinowej, mniejszy obraz widoku czołowego i względny kolor dla każdego etapu rozwoju zaćmy (rys. 1). Oceny dobierano w równych odstępach czasu od zwykłej, starzejącej się soczewki krystalicznej (N1) do całkowicie ciemnej soczewki (cataracta nigra – N10).

rys. 1

Wykres systemu klasyfikacji jądrowej BCN 10 pokazujący obraz przekroju lampy szczelinowej, mniejszy obraz widoku czołowego i względny kolor dla każdego etapu rozwoju zaćmy (od N0 do N10).

http://www.karger.com/WebMaterial/ShowPic/832445

Proces walidacji

podstawą procesu walidacji były znormalizowane zdjęcia 110 pacjentów zakwalifikowanych do operacji zaćmy w Centro de Oftalmología Barraquer. Pacjenci zostali wybrani w celu równomiernego pokrycia wszystkich stopni zaćmy. Obejmowało to jeden widok czołowy oka i widok przekrojowy, oba z rozszerzonymi źrenicami, wykonane w lampie szczelinowej przez personel fotograficzny kliniki. Zdjęcia były prezentowane losowo na wyświetlaczu komputera i musiały być porównywane z wykresem BCN 10 na boku.

obserwatorami procesu walidacji było 3 chirurgów okulistów i 6 rezydentów w okulistyce (pod koniec szkolenia). Proces walidacji został przeprowadzony dla 2 różnych metod, najpierw umożliwiając użycie tylko przyrostów 1-stopniowych (całe cyfry), uzyskując 11 stopni stopniowania, a około 6 miesięcy później umożliwiając przyrosty 0,5 stopnia (pół cyfry), uzyskując łącznie 21 stopni stopniowania.

klasyfikacja dla obu metod została przeprowadzona dwa razy w odstępie około 3 tygodni w celu oceny powtarzalności wyników klasyfikacji. Powtarzalność (ang. Repeatability, lub intraobserver agreement) – zdolność równiarki do uzyskania podobnych wyników dla powtarzanego testu (test-retest) w tych samych warunkach. Oceniliśmy również niezawodność lub precyzję systemu stopniowania, czyli dokładność wszystkich obserwatorów w nadawaniu tej samej wartości temu samemu obiektowi oceny. Niezawodność może być określana jako umowa międzyobserver .

Analiza statystyczna

naszą jednostkę skali ocen (stopień nieprzezroczystości) uważamy za dane ciągłe i ilościowe. Stopnie na wykresie BCN 10 zostały wybrane w równych odstępach czasu i są oceniane z 11 lub 21 stopniami klasyfikacji.

do oceny powtarzalności zastosowano podejście Bland-Altman. Stosuje diagram, który pokazuje różnicę lub rozbieżność między 2 powtarzającymi się obserwacjami wykreślonymi w stosunku do średniej z obu obserwacji. Odchylenie standardowe wszystkich różnic pomnożone przez 1,96 daje tzw. granice zgody lub współczynnik powtarzalności . Wartości granic porozumienia znajdują się w jednostkach skali stopniowania (stopnie nieprzezroczystości). Im niższa wartość limitu Umowy, tym lepsza powtarzalność.

do oceny powtarzalności i niezawodności zastosowano współczynnik korelacji wewnątrzklasowej (ICC). Estymacja ICC opiera się na analizie technik wariancji. To może bardzo od 0 do 1. Maksymalna wartość wynosi 1, gdy wszyscy obserwatorzy przypisują tę samą ocenę. Powinien on być większy niż 0,7, aby system klasyfikacji został uznany za wiarygodny .

obliczyliśmy ICC za pomocą SPSS w wersji 13.0 (SPSS Inc., Chicago, IL, USA) wybór opcji statystycznej analizy wiarygodności z modelem Alfa. Opierając się na tym, że mieliśmy przykładową grupę obserwatorów i przypadków, użyliśmy dwukierunkowego modelu losowego i wybraliśmy porozumienie absolutne. Wyniki pojedynczych pomiarów wykorzystano do oceny powtarzalności, a średnie dla wiarygodności.

poziom istotności i współczynniki ufności ustalono odpowiednio na 0,05 i 0,95.

wyniki

odpowiedzi 9 obserwatorów na 110 przypadków dla obu trybów, tj. całych i półcyfrowych, oceniono pod kątem powtarzalności. Średnia rozbieżność między dwoma powtórzonymi testami była bliska zeru dla wszystkich obserwatorów, wahała się od -0,308 do +0,514 dla całych cyfr i od -0,311 do +0,261 dla pół cyfr. Limity umowy wynosiły od 1,09 do 2,78 dla całych cyfr i od 0,94 do 1,70 dla pół cyfr (rys. 2a, b). Sparowany test t ujawnił, że średnia granica umowy przy użyciu całych cyfr (tj. 1,70) była znacznie wyższa w porównaniu z wartością przy użyciu pół cyfr (tj. 1,32), z p = 0,008.

rys. 2

A, B średnia różnica (rozbieżność) między testem a ponownym testem z odpowiednimi limitami porozumienia dla wszystkich indywidualnych obserwatorów klasyfikujących 110 przypadków, z zastosowaniem 2 metod: użycie tylko całych cyfr (a) lub pół cyfr (b) do klasyfikacji. Linia przerywana oznacza zerową rozbieżność. Gwiazdka wskazuje znaczącą różnicę średnich granic umowy porównując użycie całych i pół cyfr. C, d bland-Altman wykresy dla wszystkich rozbieżności test-retest ze wszystkich 9 obserwatorów połączonych razem dla całości (c) i pół cyfry (d). Linie poziome wskazują ogólną średnią rozbieżność i odpowiednie granice porozumienia obliczone dla wszystkich obserwatorów łącznie.

http://www.karger.com/WebMaterial/ShowPic/832444

zebraliśmy również wszystkie 990 powtórzonych obserwacji naszych 9 obserwatorów razem w jednym wykresie Bland-Altmanna (rys. 2c, d). Rysunek 2 pokazuje, że wszystkie stopnie zmętnienia od N0 do N10 były obecne w sposób zrównoważony. Rozbieżność między wartościami testu i ponownej próby była bliska zeru zarówno dla niskich, jak i wysokich stopni zaćmy. Łączna średnia rozbieżność wynosiła -0,033 i -0,062, a łączna granica porozumienia wynosiła 1,81 i 1,38 odpowiednio dla całych i półcyfrowych cyfr (rys. 2c, d).

powtarzalność ICC obserwatora była mniejsza dla całych cyfr (średnia 0, 951, zakres 0, 880-0, 981) w porównaniu do półcyfrów (średnia 0, 971, zakres 0, 955-0, 982). Różnica ta była statystycznie istotna (P = 0, 043; Tabela 1).

Tabela 1

ICC dla każdego obserwatora (powtarzalność) i dla całej grupy (niezawodność) przy użyciu całych i pół cyfr dla systemu klasyfikacji katarakty jądrowej BCN 10

http://www.karger.com/WebMaterial/ShowPic/832446

ICC dla niezawodności, biorąc pod uwagę wszystkie 9 obserwatorów razem, był bardzo wysoki (0,993 i 0,994), ale nie różnił się dla całych i pół cyfr, jak pokazano przez przedział ufności MTK, który wynosił między 0,991 i 0,995 dla obu trybów klasyfikacji (tabela 1).

dyskusja

system klasyfikacji BCN 10 został zaprojektowany do stosowania przy lampie szczelinowej z pacjentem z przodu. Jednak dla procesu walidacji nie było praktyczne, aby wszyscy 9 obserwatorzy mieli tych samych 110 pacjentów osobiście przed lampą szczelinową. Dlatego Walidacja została przeprowadzona za pomocą standardowych zdjęć na tym samym ekranie komputera. Mogło to wprowadzić pewne dodatkowe różnice w odniesieniu do pacjenta przed lampą szczelinową.

trwa ciągła debata na temat tego, który test metryczny i statystyczny należy zastosować do kwantyfikacji i porównania powtarzalności i niezawodności. Podejście Bland-Altman jest proste i skupia się na różnicy między obserwacjami. ICC skupia się, jak sama nazwa wskazuje, na korelacjach. Bardzo dobrze określa korelację między obserwatorami, ale jest niewrażliwa na błędy systematyczne. W naszej analizie walidacyjnej wykorzystaliśmy oba podejścia.

system klasyfikacji katarakty jądrowej BCN 10 dał bardzo dobrą powtarzalność pod względem korelacji, ze średnią ICC równą 0.951 dla całych cyfr i 0,971 dla połowy cyfr. Uważa się, że system klasyfikacji daje doskonałe wyniki, gdy ICC jest większa niż 0,75 .

w wartościach bezwzględnych nasz system dał pewność powtarzalności, czyli granicę porozumienia, wynoszącą 1,70 jednostek skali stopniowania dla całych cyfr i 1,32 dla pół cyfr. Jest to porównywane do 2,0 jednostek skali klasyfikacji zgłoszonych dla LOCS II (cyfry całe) i 0,7 dla LOCS III (cyfry dziesiętne) dla koloru jądrowego i opalescencji . Należy wziąć pod uwagę, że LOCS używa skali od 0 do 6, a w LOCS III obserwator widzi obrazy dla 5 stopni zmętnienia (brak wyraźnego obrazu z obiektywu) i jest proszony o ocenę zaćmy z krokami 0,1 (interpolacja między obrazami reprezentującymi całe cyfry). Takie małe przyrosty 0,1 są znane jako węższe granice porozumienia . Z drugiej strony, niektóre badania wykazały, że nawet jeśli skala pozwala na przyrosty 0,1, istnieje tendencja do klasyfikowania zmian głównie za pomocą przyrostów 1 lub 0,5 . Dlatego poprosiliśmy obserwatorów w naszym drugim modalności, aby używali półcyfrów. Uważamy, że zaowocowało to rozsądnym kompromisem między praktycznym zastosowaniem a relatywnie niskimi limitami zgody 1,32 jednostek skali ocen, biorąc pod uwagę naszą skalę od 0 do 10.

zautomatyzowane urządzenia optyczne, takie jak Pentacam (Oculus GmbH, Wetzlar-Dutenhofen, Niemcy) lub system optycznej analizy jakości (Visiometrics SL, Tarrasa, Hiszpania), walczą o dokładne wyniki w przypadkach ciężkiej zaćmy (np. BCN 10 stopni powyżej 6). Te obiektywne urządzenia polegają na transmisji światła przez soczewkę krystaliczną. Systemy Scheimpflug analizują wzrost rozproszenia wstecznego w miarę postępu zaćmy; jednak zaawansowana zaćma przedstawia mniej rozproszenia wstecznego, ponieważ światło jest absorbowane. Systemy podwójnego przejścia muszą dwukrotnie przepuszczać światło pomiarowe przez soczewkę. W bardzo nieprzezroczystych soczewkach nie będzie to działać prawidłowo. W szczególności, zgodnie z naszą wiedzą, te zautomatyzowane urządzenia optyczne zostały przetestowane tylko w przypadkach łagodnej do umiarkowanej zaćmy (do LOCS III stopnia 4) .

Nasz system może być szczególnie przydatny w krajach rozwijających się ze względu na brak dostępu do tych obiektywnych urządzeń testowych. W krajach tych występuje również zaćma wyższego stopnia, której inne systemy klasyfikacji oparte na obrazie nie uwzględniają .

na powtarzalność klasyfikacji dla BCN 10 nie miała wpływu ciężkość zaćmy, ponieważ odkryliśmy, że bezwzględne różnice między testem a ponownym badaniem były bliskie zeru zarówno dla niskich, jak i wysokich stopni zaćmy (rys. 2a, b).

wiarygodność BCN 10 dla całej grupy 9 obserwatorów dała ICC, który był w tym samym przedziale ufności, tj. 0,991-0,995, dla całych cyfr i dla pół cyfr. Oznacza to doskonałą niezawodność i fakt, że jest to samo dla obu trybów daje użytkownikowi możliwość zastosowania całych lub pół cyfr, choć zalecamy pół cyfr ze względu na lepszą powtarzalność.

Oświadczenie o ujawnieniu informacji

autorzy nie mają żadnych prawnie zastrzeżonych interesów w materiałach opisanych w niniejszym artykule i nie mają żadnych konfliktów interesów do zadeklarowania.

  1. Efron N, Morgan PB, Katsara SS: Validation of grading scales for contact lens complications. Ophthalmic Physiol Opt 2001;21: 17-29.
  2. Bullimore MA, Bailey IL: rozważania w subiektywnej ocenie zaćmy. Optom Vis Sci 1993; 70: 880-885.
  3. Bailey IL, Bullimore MA, Raasch TW, Taylor HR: clinical grading and the effects of scaling. Invest Ophthalmol Vis Sci 1991;32: 422-432.
  4. Sparrow JM, Bron AJ, Brown NA, Ayliffe W, Hill AR: The Oxford Clinical Cataract Classification and Grading System. Int Ophthalmol 1986; 9: 207-225.
  5. Sasaki K, Shibata T, Obazawa H, Fujiwara T, Kogure F, Obara Y, Itoi M, Katou K, Akiyama K, Okuyama s: Classification system for cataracts: application by the Japanese Cooperative Cataract Epidemiology Study Group. Ophthalmic Res 1990;22 (suppl 1): 46-50.
  6. Thylefors B, Chylack LT Jr, Konyama K, Sasaki K, Sperduto R, Taylor HR, West S: a simplified cataract grading system. Ophthalmic Epidemiol 2002;9: 83-95.
  7. Chylack LT Jr, Wolfe JK, Singer DM, Leske MC, Bullimore MA, Bailey IL, Friend J, McCarthy D, Wu Sy: the Lens Matacities Classification System III. Badanie Podłużne zaćmy Grupy Badawczej. Arch Ophthalmol 1993;111: 831-836.
  8. Wong AL, Leung CK, Weinreb RN, Cheng AK, Cheung CY, Lam PT, Pang CP, Lam DS: Quantitative assessment of lens matacities with anterior segment optical coherence tomography. Br J Ophthalmol 2009; 93: 61-65.
  9. Chong E, Simpson T, Fonn D: The repeatability of discrete and continuous anterior segment grading scales. Optom Vis Sci 2000;77: 244-251.
  10. Bland JM, Altman DG: Statistical methods for assessing agreement between two methods of clinical measurement. Lancet 1986;1: 307-310.
  11. Koch GG: Intraglass correlation coefficient; in Kotz S, Johnson NL (eds): Encyclopedia of Statistical Sciences 4. New York, Wiley, 1982, pp 213-217.
  12. Zaki R, Bulgiba a, Nordin N, Azina IN: a systematic review of statistical methods used to test for reliability of medical instruments measuring continuous variables. Iran J Basic Med Sci 2013;16: 803-807.
  13. Pan AP, Wang QM, Huang F, Huang JH, Bao FJ, Yu AY: Korelacja między systemem klasyfikacji zmętnienia soczewki III, wskaźnikiem funkcji wzrokowych-14, stagingiem Jądra Pentakamowego i wskaźnikiem rozproszenia obiektywnego do oceny zaćmy. Am J Ophthalmol 2015;159: 241-247.
  14. Cochener B, Patel SR, Galliot F: Correlational analysis of objective and subiektywnie measures of cataract quantification. J Refract Surg 2016; 32: 104-109.
  15. Artal P, Benito a, Perez GM, Alcon E, De Casa a, Pujol J, Marin JM: obiektywny wskaźnik rozproszenia oparty na podwójnych obrazach siatkówki punktowego źródła do klasyfikacji zaćmy. PLoS One 2011; 6: e16823.
  16. Lam D, Rao SK, Ratra V, Liu Y, Mitchell P, King J, Tassignon MJ, Jonas J, Pang CP, Chang DF: Cataract. Nat Rev Dis Primers 2015;1: 15014.

kontakt z autorem

Ralph Michael

Institut Universitari Barraquer

Laforja 88

ES-08021 Barcelona (Hiszpania)

E-Mail [email protected]

Szczegóły artykułu / publikacji

podgląd pierwszej strony

streszczenie pracy oryginalnej

otrzymane: 03 listopada 2016
przyjęte: 18 stycznia 2017
opublikowane online: Marzec 14, 2017
Data Wydania: Kwiecień 2017

liczba stron do druku: 5
Liczba rycin: 2
liczba tabel: 1

ISSN: 0030-3747 (druk)
eISSN: 1423-0259 (Online)

dodatkowe informacje: https://www.karger.com/ORE

Licencja Open Access / dawkowanie leku / zrzeczenie się odpowiedzialności

Ten artykuł jest dostępny na licencji Creative Commons Uznanie autorstwa-Użycie niekomercyjne-Bez utworów zależnych 4.0 międzynarodowa licencja (CC BY-NC-ND). Wykorzystanie i rozpowszechnianie w celach komercyjnych, jak również rozpowszechnianie zmodyfikowanych materiałów wymaga pisemnej zgody. Dawkowanie leku: autorzy i wydawca dołożyli wszelkich starań, aby dobór leku i dawkowanie przedstawione w niniejszym tekście były zgodne z aktualnymi zaleceniami i praktyką w momencie publikacji. Jednak w związku z trwającymi badaniami, zmianami w przepisach rządowych i stałym przepływem informacji dotyczących terapii lekowej i reakcji na lek, czytelnik jest proszony o sprawdzenie ulotki dla każdego leku pod kątem jakichkolwiek zmian we wskazaniach i dawkowaniu oraz o dodatkowe ostrzeżenia i środki ostrożności. Jest to szczególnie ważne, gdy zalecanym środkiem jest nowy i/lub rzadko stosowany lek. Zastrzeżenie: Oświadczenia, opinie i dane zawarte w niniejszej publikacji są wyłącznie oświadczeniami poszczególnych autorów i współpracowników, a nie wydawców i redaktorów. Wyświetlanie reklam lub / i odniesień do produktów w publikacji nie stanowi gwarancji, poparcia lub zatwierdzenia reklamowanych produktów lub Usług ani ich skuteczności, jakości lub bezpieczeństwa. Wydawca i redaktor zrzekają się odpowiedzialności za jakiekolwiek szkody wyrządzone osobom lub mieniu wynikające z pomysłów, metod, instrukcji lub produktów, o których mowa w treści lub reklamach.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany.