Medyczna rejestracja obrazu wideo

Część III: Medyczna rejestracja obrazu wideo w praktyce

Kimografia

Autor: dr inż. Marcin Just, dr inż. Michał Tyc (DiagNova Technologies)

Kimografia jest to analiza pracy fałdów głosowych wykorzystująca obrazowanie ich zwarć i rozwarć w przedziale czasu w dowolnie wybranym przekroju poprzecznym fałdów głosowych.

Badanie tego typu przeprowadza się przy wykorzystaniu sekwencji wideo, która może zostać nagrana za pomocą różnych rodzajów kamer do rejestracji nagrania wideo. Ze względu na fakt, iż ruch fałdów głosowych jest bardzo szybki, takie nagranie musi być często próbkowane, czyli zawierać co najmniej 7000 klatek na sekundę. Takie wyniki można otrzymać przy użyciu specjalistycznej kamery do zdjęć szybkich, która zawiera w sobie przetworniki analogowo-cyfrowe dla każdego piksela, co umożliwia bardzo szybką pracę kamery, jednak taka kamera jest bardzo drogim sprzętem. Nagranie sekwencji wideo może również zostać przeprowadzone za pomocą kamery linijkowej, czyli kamery zawierającej układ czujników w postaci jednej linijki pikseli. Strumień danych z kamery linijkowej jest cyklicznie powtarzany z określoną częstotliwością faz skanowania linijki oraz faz przerw. Dane otrzymane reprezentują jeden wymiar obrazu i są zbierane w komputerze, który tworzy obraz dwuwymiarowy. Taka kamera jest wystarczająca do nagrywania ruchu fałdów głosowych, a ponadto znacznie tańsza od kamery do zdjęć szybkich. Alternatywą dla kamer nagrywających obraz ciągły jest kamera stroboskopowa, która zbiera klatki z odpowiednią, ustaloną przez użytkownika częstotliwością. Częstotliwość musi zostać prawidłowo ustawiona względem częstotliwości ruchu fałdów głosowych, czyli idealnie zsynchronizowana z dźwiękiem. Nieodpowiednie ustawienie częstotliwości wideostroboskopu, może prowadzić do niewiarygodnych wyników wykonywanej kimografii. Problem ten natomiast nie występuje przy nagraniu sekwencji do kimografii za pomocą kamery linijkowej lub kamery do zdjęć szybkich.

Sekwencja wideostroboskopowa do analizy kimograficznej nagrywana jest w taki sam sposób jak sekwencja standardową kamerą.

Do przeprowadzenia analizy kimograficznej potrzebne jest nagranie wideostroboskopowe o czasie trwania nie krótszym niż 0,5 sekundy oraz nie dłuższym niż 300 sekund. Jeżeli czas trwania nagrania będzie zbyt krótki, to kolejna zakładka analizy – Kadrowanie – pozostanie wyszarzona. Jeżeli czas trwania nagrania będzie zbyt długi, program, podczas przechodzenia na zakładkę kadrowania, przerwie nagranie w momencie przekroczenia maksymalnego czasu.

Po nagraniu odpowiedniej sekwencji i zapisaniu jej, lub wczytaniu z pliku, naciśnięcie opcji Kimografia, spowoduje otwarcie okna do analizy kimograficznej (rys. 1). W oknie znajduje się podgląd nagrania ze wszystkimi funkcjami dostępnymi w oknie wyboru klatek A. Dodatkowo w oknie wyboru fragmentu dostępne są funkcje Usuń przeplot, Tylko parzyste oraz Obróć 1. Klatki wybrane z nagrania zapisywane są na liście znajdującej się poniżej podglądu B. Klatki znajdujące się na liście u dołu okna można w każdej chwili zapisać w wybranym miejscu na dysku lub usunąć, poprzez kliknięcie na klatce i wybranie odpowiednio opcji Wyeksportuj – zapisz na dysku lub Usuń.

Okno do analizy kimograficznej

Rys. 1. Okno do analizy kimograficznej; wybór fragmentu nagrania do analizy

Pierwsza zakładka (rys. 1) rozpoczyna kimografię. Pomiędzy podglądem nagranej sekwencji wideo a listą wybranych klatek, w oknie znajdują się trzy suwaki 2, które służą do wyboru fragmentu nagrania przeznaczonego do analizy. Pierwszy suwak pozwala przeglądać całą nagraną sekwencję, drugim i trzecim ustawiany jest odpowiednio początek i koniec fragmentu do analizy. Przedział czasu nagranej sekwencji widoczny jest na pierwszym suwaku w postaci ciemnoniebieskiego pasa.

Do poprawnej i pełnej kimografii fragment nagrania wideostroboskopowego powinien obrazować całą długość fałdów głosowych bez jakichkolwiek struktur, które mogłyby zasłonić całość lub ich fragment. Nagranie powinno zawierać co najmniej jedno pełne (lub najpełniejsze możliwe) rozwarcie oraz co najmniej jedno pełne (lub najpełniejsze możliwe) zwarcie fałdów głosowych. Najwygodniejszym rozwiązaniem jest wybranie fragmentu, który zawiera jedno zwarcie na początku oraz jedno rozwarcie na końcu fragmentu nagrania, lub odwrotnie.

Po wybraniu odpowiedniego fragmentu nagranej sekwencji wideo, należy przejść do następnej zakładki Kadrowanie (rys. 2). Kadrowanie polega na wycięciu, obróceniu i powiększeniu fragmentu obrazu zawierającego fałdy głosowe.

wskazywanie położenia fałdów głosowych

Rys. 2. Przygotowanie do kadrowania – wskazywanie położenia fałdów głosowych

Użytkownik przeprowadza kadrowanie przy wykorzystaniu dwóch odcinków pomocniczych. Jeden odcinek − znacznik fałdów − pozwala na oznaczenie miejsca, w którym znajdują się fałdy głosowe, natomiast drugi − znacznik punktów charakterystycznych − pozwala na oznaczenie punktów, które program będzie następnie śledził. Prawidłowe ustawienie na jednej klatce znacznika punktów charakterystycznych gwarantuje idealnie wykadrowany obraz fałdów głosowych, bez konieczności wprowadzania poprawek na pozostałych klatkach.

W celu naniesienia znacznika fałdów, czyli oznaczenia miejsca występowania fałdów głosowych na obrazie, należy rozmieścić dwa punkty oznaczające tył oraz przód fałdów głosowych (odcinek w kolorze niebieskim). Następnie użytkownik umieszcza znacznik punktów charakterystycznych poprzez wybranie dwóch charakterystycznych punktów na obrazie (odcinek w kolorze żółtym). Punkty te pozostają w stałym położeniu względem siebie oraz względem fałdów głosowych. Ustawione na pierwszej klatce odcinki niebieski oraz żółty pozostaną w stałym ułożeniu względem siebie na pozostałych klatkach.

Punkty znacznika fałdów ustawiane są w dwóch punktach na fałdach głosowych, tak aby odcinek poprowadzony pomiędzy nimi znajdował się w osi fałdów głosowych. Najczęściej są to punkty, które określają przód oraz tył fałdu. Punkt początkowy (tył fałdu) 3 oraz punkt końcowy (przód fałdu) 4 odcinka można dowolnie przesuwać przytrzymując lewym przyciskiem myszy.

W taki sam sposób użytkownik umieszcza na obrazie znacznik punktów charakterystycznych 5. Dwa krańcowe punkty odcinka ustawia się w dwóch charakterystycznych punktach na obrazie, które następnie będą przez program śledzone. Niezbędne jest, aby wybrane dwa punkty znacznika znajdowały się w miejscach na obrazie, które pozostają w stałym położeniu w stosunku do siebie oraz do fałdów głosowych. Wybrane punkty powinny być dla programu jednoznaczne i widoczne na wszystkich klatkach. Może to być widoczna żyłka, jaśniejsza lub ciemniejsza plamka, itp. Punkty mogą być zaznaczone w dowolnej konfiguracji względem osi fałdów głosowych (równolegle, prostopadle, pod dowolnym kątem). Zaznaczone punkty są przez program śledzone dzięki zastosowanym w programie inteligentnym algorytmom. Taki sposób znacznie polepsza jakość otrzymywanego przebiegu pracy fałdów głosowych oraz znacznie usprawnia wykonanie kimografii.

Jako, że na wszystkich klatkach oprócz pierwszej, odcinki pozostają względem siebie w stałym położeniu, przy przesuwaniu znacznika punktów charakterystycznych, odpowiednio przesuwa się również znacznik fałdów głosowych.

Nie zaleca się przesuwania znacznika fałdów, a za nim znacznika punktów charakterystycznych. Z założenia użytkownik ręcznie koryguje tylko ustawienie znacznika punktów charakterystycznych, a znacznik fałdów powinien znaleźć się dokładnie na fałdach głosowych. Jeśli tak nie jest, należy ponownie wyznaczyć punkty charakterystyczne znacznika.

W oknie znajduje się przycisk Resetuj znaczniki 6, który pozwala na usunięcie wcześniejszych ustawień obu znaczników. Aby zresetować znaczniki, należy kliknąć przycisk 6, a następnie poruszyć suwakiem.

Znaczniki ustawiane są niezależnie tylko na pierwszej klatce nagrania. Na kolejnych klatkach, podczas przesuwania punktów znacznika punktów charakterystycznych, przesuwa się również znacznik fałdów. Zaznaczenie opcji Przesuw znacznika fałdów 7, czyli odcinka niebieskiego, umożliwia „rozdzielenie” znaczników, w efekcie czego możliwe jest poruszanie znacznikiem fałdów niezależnie. Zaznaczenie to stosuje się jedynie w szczególnych przypadkach.

Pomiędzy strzałkami służącymi do ustawiania miejsca nagrania klatka po klatce, wyświetlany jest numer kolejnej klatki wyświetlonej 8. Możliwe jest ustawienie obszaru poszukiwań zmian położenia punktu wybranego przez użytkownika podczas kadrowania, za pomocą strzałek (lub „ręcznie”) 9.

W większości przypadków znaczniki wystarczy ustawić tylko na pierwszej klatce fragmentu wybranego do analizy kimograficznej. Pozostałe zostaną dopasowane automatycznie przez program.

Podczas przesuwania suwaka, punkty znacznika punktów charakterystycznych zaznaczone przez użytkownika wyświetlane są w kolorze zielonym, a dopasowane automatycznie – żółtym.

W przypadku, gdy próbkowany jest zbyt duży obszar wokół punktu wybranego przez użytkownika, możliwe jest występowanie błędów w kadrowaniu obrazu i w rezultacie powstawanie nieprawdziwego przebiegu czasowego pracy fałdów głosowych.

W celu opracowania przebiegu czasowego pracy fałdów głosowych, odnalezienia przebiegu ruchu zaznaczonego punktu, porównywane są ze sobą kolejne klatki, co może skutkować sumującymi się błędami w próbkowaniu. Błędy są wynikiem przybliżeń współrzędnych piksela danego punktu, uwarunkowane wielkością piksela. Ten sposób wymaga zaznaczenia położenia wybranego punktu w wielu miejscach czasowych, aby możliwe było otrzymanie zadowalającego przebiegu czasowego. W programie DiagnoScope zastosowana została dodatkowo aproksymacja punktów na podstawie punktów zaznaczonych przez użytkownika na jednej klatce. To pozwala uniknąć sumujących się błędów. W przypadku takiego rozwiązania, zbyt duży obszar próbkowania, może prowadzić do przekłamania przebiegu ruchu zaznaczonego punktu. Jeśli na przykład punkt zostanie zaznaczony jedynie na początku wykonywanego ruchu, natomiast w obszarze próbkowania punkt wykonuje zwrot w przeciwnym kierunku, ruch punktu zostanie określony pomijając ten manewr, ponieważ zostanie uwzględniony jedynie zaznaczony ruch prosto do punktu końcowego, który znajduje się w obszarze próbkowania. W celu uniknięcia tego zjawiska, obszar próbkowania został zmniejszony – domyślnie do 50 pikseli wokół punktu, z możliwością edycji zakresu poszukiwań podczas przeprowadzania analizy kimograficznej (9 z Rys. 2). To pozwala na ograniczenie obszaru poszukiwania klatka po klatce, co zwiększa prawdopodobieństwo odnalezienia punktu we właściwym miejscu.

Aby otrzymać dokładny przebieg czasowy pracy fałdów głosowych, należy poprawnie dobrać odpowiednie punkty znacznika punktów charakterystycznych, które mają być śledzone przez program oraz poprawnie wybrać miejsca ich zaznaczenia, co wymaga od użytkownika pewnej wprawy − nabrania doświadczenia w przeprowadzaniu kadrowania obrazów sekwencji wideo.

Kolejnym krokiem kimografii jest stabilizacja przekroju poprzecznego fałdów głosowych. Po lewej stronie zakładki Stabilizacja (Rys. 3) znajduje się podgląd wykadrowanej klatki, natomiast po prawej czarno-biały przebieg czasowy pracy fałdów głosowych w wybranym przekroju poprzecznym fałdów. Przekrój poprzeczny fałdów głosowych, którego przebieg czasowy ma być widoczny z prawej strony okna, wybiera się za pomocą suwaka 10 (linia w poprzek obrazu) na podglądzie wykadrowanej klatki.

Analiza czasowa pracy fałdów głosowych

Rys. 3. Analiza czasowa pracy fałdów głosowych

Rys. 4. Panel przycisków w oknie analizy czasowej pracy fałdów głosowych

W celu wybrania interesującego przekroju poprzecznego fałdów, należy ustawić suwak w odpowiednim miejscu, przesuwając go w górę lub w dół za pomocą kursora. W miarę przesuwania suwaka, z prawej strony pojawia się odpowiadająca danemu przekrojowi po-przecznemu analiza czasowa pracy fałdów.Podobnie może zostać zmieniona klatka przedstawiająca fałdy głosowe, odpowiadająca danej chwili czasu. W tym celu należy ustalić moment czasu, w którym klatka ta została nagrana, poprzez przesuwanie suwaka na przekroju czasowym pracy fałdów, co automatycznie pozwala ustawić odpowiednią wykadrowaną klatkę.

Poniżej podglądu klatki oraz przekroju czasowego znajduje się panel z przyciskami A (Rys. 3), który zawiera narzędzia do stabilizacji obrazu fałdów głosowych oraz wygładzenia obrazu kimograficznego. Panel w powiększeniu został przedstawiony i opisany na rysunku poniżej (Rys. 4).

W przypadku, gdy podgląd przekroju czasowego pracy fałdów głosowych jest „poszarpany”, może zostać wygładzony automatycznie na podstawie innych obrazów poprzez zaznaczenie opcji Wygładzaj wszystkie 11. Jeżeli taki sposób wygładzenia obrazu nie jest wystarczający, można go poprawić, naciskając przycisk Wygładź teraz 12. W przypadku, gdy przeglądanie przekrojów czasowych, wymaga ciągłego używania przycisku Wygładź teraz, możliwe jest automatyczne przeliczanie (wygładzanie) przekrojów za każdym razem, poprzez zaznaczenie opcji Przeliczaj każdy 13. Opcja Przeliczaj każdy jest aktywna tylko wtedy, kiedy opcja Wygładzaj wszystkie jest zaznaczona.

Kolejną niezbędną funkcją na panelu przycisków, jest opcja Usuń wahania jasności 14. Opcja ta umożliwia pozbycie się charakterystycznych dla nagrania kamerą stroboskopową poziomych pasów, które są wynikiem migania lampy stroboskopowej. Jest to bardzo często spotykany błąd i trudny do uniknięcia na poziomie nagrywania wideostroboskopowego, dlatego w programie została zastosowana funkcja pozwalająca zniwelować ten defekt. Przykład zastosowania opcji usuwającej charakterystyczne paski na obrazie przedziału czasowego pokazano na rysunku poniżej (rys. 5).

Przykładowe obrazy z analizy kimograficznej

Rys. 5. Przykładowe obrazy z analizy kimograficznej; z lewej: obraz wykadrowanej klatki z linią wskaźnika określającą miejsce przekroju; w środku: przebieg czasowy pracy fałdów głosowych z widocznymi poziomymi paskami; z prawej: ten sam przebieg czasowy pracy fałdów z włączoną opcją usuwania wahań jasności

U góry na przebiegu czasowym 15 znajdują się cztery punkty, po dwa w dwóch rzędach. Punkty te przesuwane są tylko w poziomie, poprzez naciśnięcie i przytrzymanie na wybranych punkcie lewym przyciskiem myszy i przesunięcie punktu w prawo lub w lewo. Każdy rząd punktów działa niezależnie względem siebie. Punkty z jednego rzędu ustawione po przeciwległych stronach np. linii brzegu fałdu, po naciśnięciu przycisku Wygładź teraz 12, pozwolą programowi wygładzić najbardziej wyróżniającą się linię w obszarze między punktami. Dzięki temu mechanizmowi użytkownik może ustawić jedną parę punktów z obu stron prawej krawędzi fałdu, a drugą parę z obu stron lewej krawędzi fałdu, co pozwoli na wyrównanie obu krawędzi jednocześnie. Jeżeli jest wskazane użycie tylko jednej pary punktów w danym miejscu, wystarczy, że obszary pomiędzy punktami obu par będą się „zazębiać”, wówczas program weźmie pod uwagę obszar pomiędzy najdalej oddalonymi od siebie punktami, bez względu na to z której pary pochodzą.

Po zadowalającym wygładzeniu krawędzi fałdów głosowych, należy przejść na następną zakładkę Kimografia (Rys. 6).

Analiza czasowa pracy fałdów głosowych

Rys. 6. Kimografia

Układ zakładki jest podobny jak na zakładce Stabilizacja (Rys. 3). Tutaj również po lewej stronie okna znajduje się obraz wykadrowanych fałdów głosowych oraz po prawej stronie okna obraz kimograficzny z tą różnicą, że na tej zakładce obraz kimograficzny wyświetlany jest w kolorze. Podobnie jak na poprzedniej zakładce, możliwe jest przeglądanie obrazów kimograficznych w wybranym przekroju poprzecznym fałdów. Użytkownik wybiera dany przekrój poprzeczny poprzez przesuwanie (kliknięcie i przytrzymanie na suwaku prawym przyciskiem myszy i przesunięcie) suwaka (w kolorze niebieskim) 16 na obrazie fałdów głosowych. Oprócz niebieskiego suwaka, na obrazie fałdów głosowych znajdują się również dwa suwaki w kolorze zielonym 17. Suwaki te pozwalają na określenie przodu oraz tyłu fałdów głosowych. Suwaki można przemieszczać klikając i przytrzymując lewy przycisk myszy na suwaku, a następnie przesuwać w górę lub w dół.

Możliwe jest zapisanie klatki przedstawiającej fałdy głosowe, poprzez naciśnięcie przycisku Dodaj wykadrowaną klatkę 18. Spowoduje to zapisanie aktualnej klatki, widocznej w oknie. Jeśli wymagane jest, aby na zapisanej wykadrowanej klatce widoczne było miejsce przekroju fałdów głosowych, należy zaznaczyć opcję Zapisz z linią wskaźnika 19. Można także zapisać obraz przebiegu czasowego pracy fałdów głosowych, naciskając przycisk Dodaj przekrój czasowy 20. Poprzez zaznaczenie opcji Zapisz z linią wskaźnika 21, możliwy jest zapis z linią określającą miejsce w przebiegu czasowym (moment czasu), które będzie odpowiadało wykadrowanej klatce. Użytkownik może także poprzez naciśnięcie przycisku Dodaj zestaw przekrojów 22, automatycznie zapisać obraz wykadrowanych fałdów głosowych (obraz widoczny na zakładce z automatycznie wyznaczonymi miejscami przekrojów poprzecznych) oraz odpowiednia ilość obrazów kimograficznych odpowiadających przekrojom określonym na obrazie wykadrowanych fałdów głosowych. Miejsca przekrojów poprzecznych wyznaczane są na podstawie ustawienia zielonych suwaków 17 oraz wybrane z listy miejsca przekrojów 23 (miejsca przekrojów opisane są procentowo (100% to cały obszar pomiędzy zielonymi suwakami), przy czym 0 oznacza tył fałdu (górny zielony suwak), a 100 przód fałdu (dolny zielony suwak). Po naciśnięciu przycisku 22, obszar pomiędzy suwakami zostaje podzielony przez program na części według dokonanego wyboru i w ten sposób otrzymuje odpowiednie przekroje poprzeczne.

Wszystkie dodane w ten sposób klatki zostaną dopisane do listy klatek. Po zapisaniu i wyjściu z okna analizy, wszystkie klatki zostaną umieszczone w oknie głównym badania z prawej strony nagrania źródłowego. Klatki utworzone w ten sposób, oznaczone są w lewym górnym rogu literką R i odpowiednią cyfrą w kolejności ich zapisywania.

Możliwe jest także zapisanie nagrania składającego się z wykadrowanych klatek za pomocą przycisku Dodaj wykadrowany film 24. Tak stworzona sekwencja wideo zostanie zapisana w oknie głównym badania w kolumnie zawierającej wszystkie zarejestrowane i wczytane materiały wideo podczas jednego badania. Po wyjściu z okna kimografii możliwe jest jego odtworzenie oraz wybór interesujących klatek w zwykłym oknie wyboru klatek.

Drugie nagranie, jakie można stworzyć oraz zapisać, jest to tak zwany film zbiorczy, zapisywany poprzez wciśnięcie przycisku Dodaj zbiorczy film 25. Klatka z przykładowego nagrania pokazana została na Rys. 7.

Rys. 7. Przykładowy zapisany film zbiorczy

Film ten jest złożeniem klatki w danym momencie czasu oraz nagrania składającego się z przedziałów czasowych w każdym możliwym przekroju tej klatki. Na zapisanym filmie po lewej stronie widoczna jest wykadrowana klatka (z zaznaczonym miejscem przekroju, jeśli opcja Zapisz z linią wskaźnika 19 jest zaznaczona). Po prawej stronie filmu znajduje się nagranie złożone ze wszystkich przekrojów czasowych (w miejscach przekroju pokazanych na obrazie z lewej strony). W zależności od pojemności dysku na którym zapisywane są wszelkie dane z programu, filmy można zapisywać w wysokiej jakości (zaznaczona opcja HQ 26) lub jakości zwykłej.
W celu uniknięcia występowania dodatkowych błędów w obrazowaniu oraz artefaktów, wynikających z rekompresji materiału wideo, sekwencje wykadrowanych klatek są w tej chwili zapisywane przy wykorzystaniu kodeka bezstratnego, co powoduje iż zapisane sekwencje mają stosunkowo duże rozmiary.
Okno kimografii można zamknąć przez naciśnięcie przycisku Zapisz (w celu zapisania wybranych klatek), lub przycisku Wyjdź w przypadku rezygnacji (nie zostaną zapisane żadne dane).