Medyczna rejestracja obrazu wideo

Część III: Medyczna rejestracja obrazu wideo w praktyce

Kimografia

Autor: dr inż. Marcin Just, dr inż. Michał Tyc (DiagNova Technologies)

Kimografia jest to analiza pracy fałdów głosowych wykorzystująca obrazowanie ich zwarć i rozwarć w przedziale czasu w dowolnie wybranym przekroju poprzecznym fałdów głosowych.

Badanie tego typu przeprowadza się przy wykorzystaniu sekwencji wideo, która może zostać nagrana za pomocą różnych rodzajów kamer do rejestracji nagrania wideo. Ze względu na fakt, iż ruch fałdów głosowych jest bardzo szybki, takie nagranie musi być często próbkowane, czyli zawierać co najmniej 7000 klatek na sekundę. Takie wyniki można otrzymać przy użyciu specjalistycznej kamery do zdjęć szybkich, która zawiera w sobie przetworniki analogowo-cyfrowe dla każdego piksela, co umożliwia bardzo szybką pracę kamery, jednak taka kamera jest bardzo drogim sprzętem. Nagranie sekwencji wideo może również zostać przeprowadzone za pomocą kamery linijkowej, czyli kamery zawierającej układ czujników w postaci jednej linijki pikseli. Strumień danych z kamery linijkowej jest cyklicznie powtarzany z określoną częstotliwością faz skanowania linijki oraz faz przerw. Dane otrzymane reprezentują jeden wymiar obrazu i są zbierane w komputerze, który tworzy obraz dwuwymiarowy. Taka kamera jest wystarczająca do nagrywania ruchu fałdów głosowych, a ponadto znacznie tańsza od kamery do zdjęć szybkich. Alternatywą dla kamer nagrywających obraz ciągły jest kamera stroboskopowa, która zbiera klatki z odpowiednią, ustaloną przez użytkownika częstotliwością. Częstotliwość musi zostać prawidłowo ustawiona względem częstotliwości ruchu fałdów głosowych, czyli idealnie zsynchronizowana z dźwiękiem. Nieodpowiednie ustawienie częstotliwości wideostroboskopu, może prowadzić do niewiarygodnych wyników wykonywanej kimografii. Problem ten natomiast nie występuje przy nagraniu sekwencji do kimografii za pomocą kamery linijkowej lub kamery do zdjęć szybkich.

Sekwencja wideostroboskopowa do analizy kimograficznej nagrywana jest w taki sam sposób jak sekwencja standardową kamerą. Po nagraniu odpowiedniej sekwencji i zapisaniu jej, lub wczytaniu z pliku, naciśnięcie opcji Kimografia, spowoduje otwarcie okna do analizy kimograficznej (rys. 1).

W oknie znajduje się podgląd nagrania ze wszystkimi funkcjami dostępnymi w oknie wyboru klatek A. Klatki wybrane z nagrania zapisywane są na liście znajdującej się poniżej podglądu B. Klatki znajdujące się na liście u dołu okna można w każdej chwili zapisać w wybranym miejscu na dysku lub usunąć, poprzez kliknięcie na klatce i wybranie odpowiednio opcji Wyeksportuj – zapisz na dysku lub Usuń.

Rys. 1. Okno do analizy kimograficznej; wybór fragmentu nagrania do analizy

Pierwsza zakładka (rys. 1) rozpoczyna kimografię. Pomiędzy podglądem nagranej sekwencji wideo a listą wybranych klatek, w oknie znajdują się trzy suwaki 1, które służą do wyboru fragmentu nagrania przeznaczonego do analizy. Pierwszy suwak pozwala przeglądać całą nagraną sekwencję, drugim i trzecim ustawiany jest odpowiednio początek i koniec fragmentu do analizy. Przedział czasu nagranej sekwencji widoczny jest na pierwszym suwaku w postaci ciemnoniebieskiego pasa.

Do poprawnej i pełnej kimografii fragment nagrania wideostroboskopowego powinien obrazować całą długość fałdów głosowych bez jakichkolwiek struktur, które mogłyby zasłonić całość lub ich fragment. Nagranie powinno zawierać co najmniej jedno pełne (lub najpełniejsze możliwe) rozwarcie oraz co najmniej jedno pełne (lub najpełniejsze możliwe) zwarcie fałdów głosowych. Najwygodniejszym rozwiązaniem jest wybranie fragmentu, który zawiera jedno zwarcie na początku oraz jedno rozwarcie na końcu fragmentu nagrania, lub odwrotnie.

Po wybraniu odpowiedniego fragmentu nagranej sekwencji wideo, należy przejść do następnej zakładki Kadrowanie (rys. 2). Kadrowanie polega na wycięciu, obróceniu i powiększeniu fragmentu obrazu zawierającego fałdy głosowe. W tym celu należy zaznaczyć początek oraz koniec fałdów głosowych za pomocą punktów końcowych odcinka w kolorze żółtym. Punkt początkowy 1 oraz punkt końcowy 2 odcinka można przesuwać. Zaznaczone punkty początkowy oraz końcowy są następnie śledzone dzięki zastosowanym w programie inteligentnym algorytmom. Taki sposób znacznie polepsza jakość otrzymanego przebiegu pracy fałdów głosowych, przy takiej samej liczbie zaznaczonych fałdów głosowych podczas trwania sekwencji wideo, oraz znacznie usprawnia wykonanie kimografii. Pomiędzy strzałkami służącymi do ustawiania miejsca nagrania klatka po klatce, wyświetlany jest numer kolejnej klatki wyświetlonej 3. Możliwe jest ustawienie obszaru poszukiwań zmian położenia punktu wybranego przez użytkownika podczas kadrowania, za pomocą strzałek (lub wpisane „ręcznie”) zakresu od 1 do 40 pikseli 4.

Rys. 2. Przygotowanie do kadrowania – wskazywanie położenia fałdów głosowych

Jeżeli wybrany fragment sekwencji zawiera jedno zwarcie oraz jedno rozwarcie fałdów, należy zaznaczyć początek i koniec fałdów głosowych w trzech fazach pracy, tj. przy największym rozwarciu, najmniejszym zwarciu oraz w jednym miejscu pomiędzy tymi dwoma granicznymi fazami. W przypadku, gdy w nagranej sekwencji wideo występują nagłe zmiany jasności nagrania (rozjaśnienie lub przyciemnienie klatek sekwencji), należy wyjątkowo w tych miejscach wykonać dodatkowe zaznaczenie. Pomiędzy chwilami czasu, w których użytkownik dokonał zaznaczenia położenia fałdów, stosowane jest automatyczne wyszukiwanie odpowiednich fragmentów obrazu. Podczas przesuwania suwaka, punkty zaznaczone przez użytkownika wyświetlane są w kolorze zielonym, a dopasowane automatycznie – żółtym.

Rys. 3. Analiza czasowa pracy fałdów głosowych

Ostatnim krokiem kimografii jest analiza czasowa przekroju poprzecznego fałdów głosowych. Po lewej stronie zakładki Analiza czasowa (rys. 3) znajduje się podgląd wykadrowanej klatki 1, natomiast po prawej przebieg czasowy pracy fałdów głosowych w wybranym przekroju poprzecznym fałdów 2. Przekrój poprzeczny fałdów głosowych, którego przebieg czasowy ma być widoczny z prawej strony okna, wybiera się za pomocą suwaka 3 (linia w poprzek obrazu) na podglądzie wykadrowanej klatki (szczegółowy schemat rys. 8). W celu wybrania interesującego przekroju poprzecznego fałdów, suwak należy ustawić w odpowiednim miejscu, przesuwając go w górę lub w dół za pomocą kursora. W miarę przesuwania suwaka, z prawej strony pojawia się odpowiadająca danemu przekrojowi poprzecznemu analiza czasowa pracy fałdów. Podobnie może zostać zmieniona klatka przedstawiająca fałdy głosowe odpowiadająca danej chwili czasu. W tym celu należy ustawić moment czasu, w którym klatka ta została nagrana, poprzez przesuwanie suwaka na przekroju czasowym pracy fałdów (szczegółowy schemat na rys. 7), co automatycznie pozwala ustawić odpowiednią wykadrowaną klatkę.

Poniżej podglądu klatki oraz przekroju czasowego znajduje się panel z przyciskami A (rys. 3) pozwalającymi między innymi na zapisanie wykadrowanej klatki oraz przekroju czasowego pracy fałdów głosowych w wybranym miejscu fałdów, a także zapisanie filmu przedstawiającego zmiany przebiegu czasowego w zależności od miejsca przekroju. Panel w powiększeniu został przedstawiony i opisany na rysunku poniżej (rys. 4).

Rys. 4. Panel przycisków w oknie analizy czasowej pracy fałdów głosowych

W przypadku, gdy podgląd przekroju czasowego pracy fałdów głosowych jest „poszarpany”, może zostać wygładzony automatycznie na podstawie innych obrazów poprzez zaznaczenie opcji Wygładzaj wszystkie 4. Jeżeli taki sposób wygładzenia obrazu nie jest wystarczający, można go poprawić, naciskając przycisk Wygładź teraz 5. W przypadku, gdy przeglądanie przekrojów czasowych, wymaga ciągłego używania przycisku Wygładź teraz, możliwe jest automatyczne przeliczanie (wygładzanie) przekrojów za każdym razem, poprzez zaznaczenie opcji Przeliczaj każdy 6. Opcja Przeliczaj każdy jest aktywna wtedy, kiedy opcja Wygładzaj wszystkie jest zaznaczona.

Włączona opcja Przeliczaj każdy, lub przyciskanie przycisku Wygładź teraz za każdym razem, może spowodować w niektórych miejscach nadmierne wygładzenie powierzchni fałdów głosowych, co może prowadzić do zafałszowania wyników. W celu uniknięcia fałszowania wyników, należy w miejscu występowania wady (np. niedomykalności) przycisnąć przycisk Wygładź teraz, przy zaznaczonej opcji Wygładzaj wszystkie, program dostosuje wygładzenie pozostałych przekrojów czasowych na podstawie dodatkowo wygładzonego przekroju.

Możliwe jest zapisanie klatki przedstawiającej fałdy głosowe, poprzez naciśnięcie przycisku Dodaj wykadrowaną klatkę 7. Spowoduje to zapisanie aktualnej klatki, widocznej w oknie. Jeśli wymagane jest, aby na zapisanej wykadrowanej klatce widoczne było miejsce przekroju fałdów głosowych, należy zaznaczyć opcję Zapisz z linią wskaźnika 8. Można także zapisać obraz przebiegu czasowego pracy fałdów głosowych, naciskając przycisk Dodaj przekrój czasowy 9. Poprzez zaznaczenie opcji Zapisz z linią wskaźnika 10, możliwy jest zapis z linią określającą miejsce w przebiegu czasowym, które będzie odpowiadało wykadrowanej klatce. Wszystkie dodane w ten sposób klatki zostaną dopisane do listy klatek 14. Po zapisaniu i wyjściu z okna analizy, wszystkie klatki zostaną umieszczone w oknie głównym badania z prawej strony nagrania źródłowego.

Kolejną niezbędną funkcją na panelu przycisków, jest opcja Usuń wahania jasności 11. Opcja ta umożliwia pozbycie się charakterystycznych dla nagrania kamerą stroboskopową poziomych pasów, które są wynikiem migania lampy stroboskopowej. Jest to bardzo często spotykany błąd i trudny do uniknięcia na poziomie nagrywania wideostroboskopowego, dlatego w programie została zastosowana funkcja pozwalająca zniwelować ten defekt. Przykład zastosowania opcji usuwającej charakterystyczne paski na obrazie przedziału czasowego pokazano na rysunku poniżej (rys. 5).

Rys. 5. Przykładowe obrazy z analizy kimograficznej; z lewej: obraz wykadrowanej klatki z linią wskaźnika określającą miejsce przekroju; w środku: przebieg czasowy pracy fałdów głosowych z widocznymi poziomymi paskami; z prawej: ten sam przebieg czasowy pracy fałdów z włączoną opcją usuwania wahań jasności

Możliwe jest także zapisanie nagrania składającego się z wykadrowanych klatek za pomocą przycisku Dodaj wykadrowany film 12. Tak stworzona sekwencja wideo zostanie zapisana w oknie głównym badania w kolumnie zawierającej wszystkie zarejestrowane i wczytane materiały wideo podczas jednego badania. Po wyjściu z okna kimografii możliwe jest jego odtworzenie oraz wybór interesujących klatek w zwykłym oknie wyboru klatek.

Drugie nagranie, jakie można stworzyć oraz zapisać, jest to tak zwany film zbiorczy, zapisywany poprzez wciśnięcie przycisku Dodaj zbiorczy film 13. Klatka z przykładowego nagrania pokazana została na rysunku 6. Film ten jest złożeniem klatki w danym momencie czasu oraz nagrania składającego się z przedziałów czasowych w każdym możliwym przekroju tej klatki. Na zapisanym filmie po lewej stronie widoczna jest wykadrowana klatka (z zaznaczonym miejscem przekroju, jeśli zaznaczona opcja Zapisz z linią wskaźnika 8). Po prawej stronie filmu znajduje się nagranie złożone ze wszystkich przekrojów czasowych (w miejscach przekroju pokazanych na obrazie z lewej strony). Tutaj również możliwe jest dodanie linii wskaźnika (poprzez zaznaczenie opcji zapisywania ze wskaźnikiem 9), określającej daną chwilę czasu w jakiej widoczne są fałdy głosowe na wykadrowanej klatce.

Rys. 6. Przykładowy zapisany film zbiorczy

W celu uniknięcia występowania dodatkowych błędów w obrazowaniu oraz artefaktów, wynikających z rekompresji materiału wideo, sekwencje wykadrowanych klatek są w tej chwili zapisywane przy wykorzystaniu kodeka bezstratnego, co powoduje iż zapisane sekwencje mają stosunkowo duże rozmiary.

Rysunek 7 przedstawia schematyczny przebieg analizy czasowej wykadrowanych obrazów. Analiza rozpoczyna się od wykadrowania nagrania wiedeostroboskopowego na podstawie zaznaczonych przez użytkownika w odpowiedniej liczbie chwil położeń fałdów głosowych. Odpowiednie prostokątne obszary zawierające całość fałdów głosowych są (dla trzech przykładowych chwil czasu) zaznaczone na żółto w górnej części rysunku.

Po zakończeniu etapu kadrowania, otrzymujemy (czerwone strzałki) obrócone i powiększone obrazy fałdów głosowych dla wszystkich klatek ze źródłowego nagrania – na rysunku pokazane po lewej stronie (dla trzech przykładowych chwil czasu) – które wyświetlane są po lewej stronie okna kimografii na etapie Analizy czasowej.

Z tak utworzonych kolejnych kadrów wybierane są przekroje przez fałdy głosowe w ustalonym miejscu w kolejnych chwilach czasu, tj. ustalona pozioma linia z każdego kadru. Z tych linii składany jest przekrój czasowy (analiza czasowa pracy fałdów na wybranym przekroju) – jak pokazują pomarańczowe strzałki dla trzech przykładowych chwil czasu – który wyświetlany jest po prawej stronie okna kimografii na etapie Analizy czasowej. Niebieska strzałka na schemacie wskazuje upływ czasu. Za pomocą suwaka na przekroju czasowym możliwe jest ustawienie wybranej chwili czasu nagrania, z lewej strony automatycznie wyświetla się pochodząca z tej chwili pełna wykadrowana klatka.

Rys. 7 Suwak na wykadrowanej klatce pozwala natomiast wybór miejsca przekroju poprzecznego, który ma być poddany analizie (czyli wybór odpowiedniej poziomej linii obrazu), co obrazuje rys. 8. Zmiana położenia suwaka w górę lub w dół powoduje automatyczne wyznaczenie odpowiedniego przekroju czasowego i wyświetlenie go w prawej części okna. Po prawej stronie schematu pokazano przekroje czasowe uzyskane dla trzech przykładowo wybranych miejsc na fałdach głosowych.

Rys. 8. Schemat wyboru analizowanego miejsca przekroju poprzecznego

Na przekroju czasowy przedstawiony na rys. 8 u góry z prawej strony jest bardzo wyraźnie widoczna niedomykalność fałdów głosowych: na całej długości przekroju czasowego, czyli w całym zakresie czasu pracy fałdów poddanym analizie, widać przerwę pomiędzy lewym i prawym fałdem. Dwa pozostałe przekroje, wykonane dla innych miejsc na fałdach głosowych, nie wykazują niedomykalności – widoczne są kolejno fazy zwarć i rozwarć. Ustawiając za pomocą suwaków odpowiednie miejsce przekroju oraz chwilę czasu, można bardzo precyzyjnie zobrazować stopień niedomykalności oraz określić miejsce na fałdach, w których ona występuje. Podobnie można badać inne nieprawidłowości pracy fałdów głosowych, np. asymetrię. Badanie nierównomierności pracy fałdów głosowych metodą kimografii jest co najmniej porównywalne z przeprowadzeniem analizy akustycznej.