열화상 이미지 처리 - PIX4Dmapper

열 지도 작성 소개

적외선 이미징은 특히 산업 시설의 열 지도를 얻는 데 점점 더 많이 사용되고 있으며, 이를 통해 공장의 이상 징후를 신속하게 감지하고 유지 보수 노력을 더욱 효과적으로 집중하며 운영 효율성을 향상시킬 수 있습니다.

열화상 카메라는 일반 RGB 카메라와는 상당히 다릅니다. 우선, 열화상 카메라는 기존 RGB 카메라보다 해상도가 훨씬 낮습니다. 또한 장파장 적외선을 차단하지 않는 특수 광학계가 필요합니다. 그리고 열화상 카메라에 셔터가 있더라도, 이는 일반적으로 사진 촬영용이 아니라 센서 내부 보정용으로만 사용됩니다.

이미지를 획득하는 데 걸리는 시간은 카메라 센서의 "응답 시간"에 의해 결정되는데, 이는 일반적으로 RGB 카메라의 일반적인 노출 시간보다 깁니다. 또한 열화상 카메라의 응답은 시간에 따라 변하는 경향이 있으며(드리프트), 센서 전체에 걸쳐 균일하지 않습니다.

열화상 프로젝트에 사용할 수 있는 이미지는 무엇인가요?

PIX4Dmapper 에 설명된 권장 사항에 따라 캡처된 열화상 이미지를 처리할 수 있습니다 섹션.

Pix4D 소프트웨어 중 어떤 소프트웨어가 열화상 이미지를 처리할 수 있나요?

• PIX4Dmatic 2.9.0 이상 버전은 모든 FLIR, DJI 및 Skydio 카메라의 열화상 이미지를 처리할 수 있습니다. 자세한 내용은 의 열화상 이미지 페이지를 PIX4Dmatic.
• PIX4Dmapper 와 PIX4Dengine은 이 섹션 에 설명된 권장 사항에 따라 캡처된 모든 유형의 열화상 이미지(RJPG, .tff, .jpg)를 처리할 수 있습니다 .
• PIX4Dfields Micasense Altum/Altum-PT 및 Sentera 6X 카메라의 열화상 밴드를 처리하여 실제 온도 값을 제공할 수 있습니다.
• PIX4Dfields 와 PIX4Dreact 여러 드론의 .jpg 형식 열화상 이미지를 처리하여 온도를 시각적으로만 나타내는 컬러 지도를 생성할 수 있습니다.
• PIX4Dcloud Starter/PIX4Dcloud Pro 단독으로는 rjpeg 및 흑백 열화상 이미지 처리를 지원하지 않습니다.

지원되는 열화상 카메라는 무엇이며, 어떤 온도 범위를 제공합니까?

PIX4Dmapper 기존 FLIR 방사 측정 JPEG 형식을 사용하는 구형 열화상 카메라를 지원합니다.

최신 FLIR 포맷뿐만 아니라 DJI, Skydio, Autel의 열화상 포맷은 방사 측정 처리를 지원하지 않습니다. 이러한 이미지는 시각화를 위해 표준 RGB 이미지로 처리할 수 있지만, 온도 데이터를 추출하거나 열 지도를 생성할 수는 없습니다.

센서 권장 사항

PIX4Dmapper 가 장면을 재구성하는 데 필요한 충분한 시각적 콘텐츠를 이미지에 포함시키려면 다음을 권장합니다

• 최소 센서 해상도는 640x480입니다. 이보다 작은 센서는 지원되지 않으며 일반적으로 보정되지 않습니다.
• 초점 거리가 더 짧은 렌즈(9mm)를 사용하면 이미지 크기가 커지지만, 더 긴 초점 거리의 렌즈를 사용하는 것도 가능합니다.

지원되는 열화상 카메라

기본적으로 지원되는 권장 통합 솔루션에는 다음 카메라가 포함됩니다.

방사 측정 열화상 카메라

"R"이라고 표시된 카메라는 방사 측정 방식으로 보정되었습니다. 이러한 카메라를 사용하면 이미지의 모든 픽셀에서 절대 온도를 기록할 수 있습니다. FLIR Vue Pro R과 Zenmuse XTR은 모두 절대 온도를 기록하는 방사 측정 방식 카메라입니다. 이 카메라들은 이미지를 RJPG(방사 측정 JPG) 형식으로 저장합니다. RJPG는 모든 픽셀에 온도 데이터가 포함된 .jpg 이미지입니다.

DJI Mavic 3T Enterprise, Mavic 2 Dual Enterprise Advanced, Zenmuse H20T, Zenmuse H20N과 같은 열화상 카메라로 촬영한 이미지를 처리하는 방법은 무엇인가요?

PIX4Dmatic 2.9.0 이상 버전은 DJI 열화상 카메라의 열화상 이미지를 처리할 수 있습니다. 자세한 내용은 의 열화상 이미지 페이지를 PIX4Dmatic.

현재 PIX4Dmapper DJI의 Mavic 3T Enterprise, Matrice 30T, Mavic 2 Dual Enterprise Advanced, Zenmuse H20T, Zenmuse H20N과 같은 특정 열화상 카메라에서 생성된 열화상 이미지의 온도 값을 포함하는 반사율 맵을 생성할 수 없습니다. 이는 해당 카메라의 열화상 이미지 메타데이터가 일반 열화상 카메라와 다르기 때문에 Pix4D 소프트웨어에서 사용하는 FLIR SDK가 해당 이미지를 rjpeg 형식으로 인식하기 어렵기 때문입니다. 하지만 PIX4Dmatic 2.9.0 버전은 DJI SDK를 지원하며 DJI 열화상 카메라의 이미지를 처리할 수 있습니다. 

PIX4Dmapper, PIX4Dfields또는 PIX4Dreact 에서 .jpg 형식의 열화상 이미지를 처리 할 경우 , 표준 RGB 이미지처럼 취급됩니다. 이렇게 생성된 정사영상은 시각화 용도로만 사용할 수 있습니다 . .jpg 형식에는 온도 데이터가 저장되지 않으므로, 지도상의 어떤 객체나 픽셀에서도 온도 값을 추출하거나 측정할 수 없습니다.

열화상 이미지를 촬영하는 방법은 무엇인가요?

열화상 프로젝트에서 촬영된 장면을 더 정확하게 재구성하려면 이미지 획득 시 다음과 같은 권장 사항을 따라야 합니다

• 이미지 중첩률이 매우 높아야 합니다: 정면 및 측면 이미지 중첩률 90% .
• 해당 이미지는 최소 640x480 해상도 로 촬영되었습니다 .
• 이미지에는 모션 블러 현상이 나타나지 않습니다. 비행 속도가 증가하면 이미지가 흐릿해질 수 있습니다.

열화상 데이터 세트를 처리하는 방법은 무엇입니까?

열 프로젝트를 처리합니다

1. 새 프로젝트를 생성합니다. 자세한 내용은 의 새 프로젝트 생성하기를 PIX4Dmapper 참조하십시오 . 정확한 이미지 지리 위치 정보가 포함된 나디르 데이터 세트의 경우, 열화상 카메라 처리 템플릿을 선택하십시오 . 자세한 내용은 처리 옵션 기본 템플릿을 참조하십시오.

2. 픽셀 크기 와 초점 거리 값이 올바르게 설정되었는지 확인하십시오 . 메뉴 모음에서 프로젝트 > 이미지 속성 편집기...를 클릭하고, 선택한 카메라 모델 섹션에서 편집...을 클릭합니다. 카메라 모델 수정 방법에 대한 단계별 지침은 카메라 모델 편집 옵션 사용 방법을 참조하십시오 . 3. 처리 막대 에서 시작을 클릭하여 처리를 시작합니다. 열 지수 맵은 3단계에서 생성됩니다. DSM, 정사영상 및 지수.

Micasense Altum의 프로세스 데이터세트

Micasense Altum은 청색, 녹색, 적색, 적색 에지, 근적외선(NIR) 및 열적외선(LWIR)의 6개 밴드를 갖춘 카메라입니다. 열 센서의 해상도는 160x120이지만, 고해상도 다중 스펙트럼 센서 덕분에 전체 시스템에서 이미지를 성공적으로 처리할 수 있습니다.

1. 이미지를 업로드하고 ag 다중 스펙트럼 템플릿을 사용하십시오.
2. LWIR 픽셀 값을 섭씨로 변환하려면 다음 공식을 사용하십시오. Thermal_ir=(lwir/100)-273.15

이 카메라의 데모 데이터셋은 MiCasense 웹사이트에서 확인할 수 있습니다.

열화상 이미지와 RGB 이미지를 모두 사용하여 데이터셋을 처리합니다 (더 나은 3D 메쉬/모델 생성)

일반적으로 열화상 카메라는 RGB 카메라보다 해상도가 훨씬 낮기 때문에 3D 모델의 품질도 훨씬 떨어집니다. 따라서 고해상도 RGB 이미지를 사용하여 상세한 3D 모델(메시)을 계산하고 그 위에 열화상 텍스처를 투영하는 것이 좋습니다. 이렇게 하면 최종 열화상 3D 모델의 품질이 크게 향상됩니다. 열화상 이미지와 RGB 이미지가 모두 포함된 데이터셋을 처리하려면 다음과 같이 하면 됩니다

1. 위 지침에 따라 열화상 데이터 세트에 대한 1 단계 초기 처리를 실행합니다. 2. 별도의 PIX4Dmapper 프로젝트 에서 RGB 데이터 세트에 대한 1단계 초기 처리를 실행합니다. 3. RGB 프로젝트와 열화상 프로젝트를 병합합니다. 프로젝트 병합에 대한 자세한 내용은 프로젝트 병합을 참조하십시오 . 4. 메뉴 모음에서 처리 > 처리 옵션을 클릭합니다 . 2. 포인트 클라우드 및 메시를 선택하고 고급 탭을 클릭합니다 . 포인트 클라우드 및 메시 형상 이미지 그룹 에서 열 적외선(Thermal IR) 이 선택 해제되어 있고 그룹1(group1) 이 선택되어 있는지 확인합니다. 메시 텍스처 이미지 그룹 에서 열 적외선 (Thermal IR)이 선택되어 있고 그룹1(group1)이 선택 해제되어 있는지 확인합니다 . 자세한 내용은 메뉴 처리 > 처리 옵션... > 2. 포인트 클라우드 및 메시 > 고급을 참조하십시오 .

열 출력을 시각화하는 방법은 무엇일까요?

rayCloud에서 3D 포인트 클라우드를 시각화합니다

1. 보기 > 레이클라우드(rayCloud)를 클릭하여 레이클라우드 를 열고 왼쪽 사이드바의 레이어 섹션에서 포인트 클라우드 (Point Clouds) 확인란을 선택하여 3D 포인트 클라우드를 불러옵니다 . 자세한 내용은 메뉴 보기 > 레이클라우드 > 왼쪽 사이드바 > 레이어 > 포인트 클라우드를 참조하십시오 . 2. 표시: (선택 사항) 왼쪽 사이드바의 포인트 클라우드 레이어에서 표시 속성(Display Properties)을 선택하고 셰이더를 화면 정렬 사각형(Screen Aligned Quads, Thermal) 또는 구형 포인트(Spherical Points, Thermal) 로 변경합니다 .

레이클라우드에서 3D 텍스처 메시를 시각화합니다

1. 열화상 카메라 처리 템플릿을 사용 하고 3D 텍스처 메시 출력을 원하는 경우, 메뉴 모음에서 [처리] > [3D 텍스처 메시 생성]을 클릭합니다 . 자세한 내용은 [메뉴 처리] > [3D 텍스처 메시 생성]을 참조하십시오. 2. [보기] > [레이클라우드]를 클릭하여 레이클라우드 를 열고 왼쪽 사이드바의 [레이어] 섹션에서 [ 삼각형 메시] 확인란을 선택하여 3D 텍스처 메시를 로드 합니다 . 자세한 내용은 [메뉴 보기] > [레이클라우드] > [왼쪽 사이드바] > [레이어] > [삼각형 메시]를 참조하십시오 . 3. 표시: (선택 사항) 왼쪽 사이드바의 [삼각형 메시] 레이어에서 [표시 속성]을 선택하고 [ 셰이더 ]를 [열화상] 으로 변경합니다 .

열지수 계산기에서 열지수 지도를 시각화하세요

1. 보기 > 인덱스 계산기를 클릭하여 인덱스 계산기를 엽니다 . 2. 사이드바의 인덱스 맵 섹션에서 열 데이터가 포함된 밴드를 선택합니다 .

3. 표시: (선택 사항) 사이드바의 색상표 및 처방 섹션에서 클래스 수를 32로 늘리고 드롭다운 목록에서 등간격을 선택합니다 . 메뉴 보기 > 인덱스 계산기 > 사이드바 > 4. 색상표 및 처방 .

연속된 이미지 간의 열 강도 불연속성을 어떻게 해결할 수 있을까요?

온도가 시간에 따라 변동하는 것처럼 보인다면, 이는 카메라의 특성(일반적으로 냉각 장치가 없는 카메라에서 이러한 현상이 나타남) 때문이며 소프트웨어로는 보정할 수 없습니다. 카메라에는 일반적으로 셔터를 닫은 상태로 사진을 촬영하는 방식으로 온도 강도를 자동으로 재보정하는 기능이 있습니다. 즉, 균일한 온도를 가진 표면의 열화상 이미지가 실제로는 균일하지 않고, 특정 카메라 특유의 패턴을 보이며 시간에 따라 크게 변할 수 있다는 것입니다.

자세한 내용은 카메라 제조업체에 문의하십시오.

처리 시간이 매우 긴 경우 이를 줄이는 방법은 무엇일까요?

단계 속도에 영향을 미치는 주요 요인은 두 가지입니다. 초기 처리:

• 중복 촬영 이미지가 너무 많으면 처리 시간이 기하급수적으로 증가합니다. 따라서 시간 기준이 아닌 거리 기준으로 카메라 촬영을 시작하는 비행 계획 앱(예: PIX4Dcapture)을 사용하는 것이 좋습니다. 또는 드론이 장시간 같은 위치에 머물렀던 이미지는 수동으로 삭제하는 것이 좋습니다.
• 카메라 모델 최적화: 카메라의 초기값이 최적화된 값과 너무 다르면 처리 속도가 느려질 수 있습니다. 픽셀 크기와 초점 거리가 올바르게 입력되었는지 확인하십시오. 카메라 모델 편집 옵션 사용 방법을.

레이클라우드에 완전히 흰색 또는 검은색 이미지가 있고 보정률이 낮은 경우 어떻게 해야 할까요?

레이클라우드에 완전히 검은색 또는 완전히 흰색 이미지만 표시되고 프로젝트의 보정률이 매우 낮게 나타나는 경우, 사용된 열화상 카메라가 데이터베이스에 등록되지 않았음을 의미합니다. 이러한 상황에서는 두 가지 조치를 취할 수 있습니다

• 가장 좋은 방법은 저희가 데이터베이스에 포함시킬 수 있도록 데이터셋 샘플을 보내주시는 것입니다.
• 또 다른 방법은 프로세스를 시작하기 전에 프로젝트를 닫고 텍스트 편집기로 .p4d 파일을 연 다음 아래에 내용을 추가하는 것입니다. <tangentialT2> 그리고 그 위에 <cameraModelSource> 줄에 다음 줄을 추가하세요.
  <pixelValue pixelType="uint16" min="-1" max="-1"/>

"pixelType"은 입력 이미지의 데이터 형식과 일치해야 합니다. 예를 들어, float 또는 8비트 데이터를 사용하는 경우 위의 코드는 작동하지 않습니다.

열 센서의 사용자 정의 통합을 사용하는 방법은 무엇입니까?

통합해야 합니다 PIX4Dmapper 에서 요구하는 메타데이터를 이미지 EXIF ​​태그에 PIX4Dmapper. 프로젝트 생성을 위한 EXIF ​​및 XMP 태그 정보.

문제 해결 지침

열화상 데이터 세트 처리가 성공적으로 이루어지지 않거나 보정이 되지 않는 경우 다음 사항을 확인하십시오

• 이미지들이 그다지 균일하지 않다.
• 카메라 모델은 픽셀 크기 및 초점 거리. 간혹 EXIF ​​정보에서 픽셀 크기가 제대로 읽히지 않는 경우가 있습니다. 이 매개변수는 제조업체에서 제공합니다. 카메라 모델 옵션에 대한 자세한 내용은 " 카메라 모델 옵션 편집 방법"을.
• 이미지의 지리적 위치와 방향은 명백한 오류 없이 정확합니다. 이미지의 지리적 위치와 방향에 대한 자세한 내용은 " 이미지의 지리적 위치 및 방향 선택/변경 방법"을.
• 열화상 카메라 처리 템플릿을 사용하십시오 . 처리 템플릿에 대한 자세한 내용은 처리 옵션 > 기본 템플릿을 참조하십시오.

위의 사항들을 확인한 후에도 프로젝트가 여전히 보정되지 않거나 심하게 왜곡되는 경우, 아래 순서대로 다음 처리 옵션들을 적용해 보십시오

1. 내부 카메라 파라미터 최적화 방법 모든 처리 옵션 메뉴 프로세스 > 처리 옵션... > 1. 초기 처리 > 보정을 참조하십시오. 보다 먼저 모든 처리를 적용합니다 . 에 대한 자세한 내용은
2. 카메라 모델의 왜곡 매개변수를 0으로 설정합니다(반경 R1, R2, R3 및 접선 T1, T2). 카메라 모델 옵션에 대한 자세한 내용은 " 카메라 모델 옵션 편집 방법"을.
3. 보정이 여전히 되지 않으면 다른 보정 방법( 표준, 대체 ) 을 사용해 보세요 . 자세한 내용은 메뉴 프로세스 > 처리 옵션... > 1. 초기 처리 > 보정을 참조하세요. 열화상 및 열지도 템플릿은 대체 보정 파이프라인을 사용합니다. 이 파이프라인은 데이터 세트에 경사 이미지가 없고 지형이 평평하고 균질하다고 가정합니다. 이러한 가정 때문에 보정 과정에서 35도보다 기울어진 이미지는 보정되지 않습니다. 표준 보정으로 처리해 보세요.
4. 좋은 열화상 데이터 세트는 약 95% 정도의 높은 중첩률을 보여야 합니다. 하지만 이미지가 동일한 시점에서 촬영된 것이 아니라, 이미지 중심이 서로 다른 지점이어야 한다는 점도 중요합니다. Tau2(비디오 카메라)와 같은 카메라의 경우, 특히 드론이 제자리 비행 중일 때 초당 프레임 수(fps)가 너무 높아 동일한 위치에 이미지가 많이 생성될 수 있습니다. 이 경우, 데이터 세트에서 일부 프레임을 수동으로 제거해야 합니다.