재구성
재구성은 3D 포인트 클라우드나 메쉬를 사용하여 비디오를 재구성하려고 시도할 때 카메라 재구성(다수의 3D 버텍스만 생성)보다 한 단계 더 나아갑니다. 또한, 버텍스 컬러는 동영상에 따라 버텍스 또는 메쉬를 색칠하는데 사용됩니다.
이러한 유형의 씬 재구성 결과는 이상적인 조건에서(아래 최적 동영상 참조하세요) 조밀한 포인트 클라우드 또는 일관된 메쉬가 될 수 있습니다(그러나 실제 결과는 대부분의 경우 이상적인 동영상을 사용할 수 업기 때문에 종종 다를 수 있습니다; 패치를 얻게 되고 포인트 클라우드 또는 메쉬를 분리합니다).
이미지 시퀀스는 시계방향으로 움직이고 해당 포인트 클라우드.
씬 재구성은 3D 스캐너를 대체하지 않습니다. 생성된 포인트 클라우드 또는 메쉬는 예를 들어, 오브젝트 및 기타 목적을 재현하기 위해 3D 공간에서 방향을 제공할 수 있습니다.
씬 재구성을 위한 요구사항
성공적인 씬 재구성을 위해서는 먼저 2D 추적이 완료된 후 성공적으로 카메라를 재구성해야 합니다. 즉, 카메라가 재구성된 후 3D 분석 실행하기 버튼을 클릭하여 프로세스를 완료하세요(또는 메인 트래커 메뉴에서 전체 솔브 명령을 선택해서 모든 작업이 자동으로 수행됩니다) 구속 태그를 사용해서 카메라와 피쳐를 보정하는 것도 유용할 수 있습니다. 구속 태그는 재구성된 씬과 포인트 클라우드의 크기와 방향을 올바르게 정의합니다.
카메라 재구성은 언제 성공적일까요? 이전에 설명된 프로세스가 완료되고 일련의 자동 또는 사용자 피쳐가 모션 트래커 오브젝트의 자식 오브젝트로 추가됩니다. 피쳐들은 나중에 씬 재구성을 위한 시작 포인트로 사용되기 때문에 중요합니다.
기존 2D 트랙은 더 이상 씬 재구성을 위한 역할을 수행하지 않습니다.
최적 동영상
씬 재구성의 최적의 동영상은 다음 특성으로 작동합니다:
피사계 심도 또는 모션 블러가 가능한 높은 수준의 이미지 선명도
이미지들은 아주 상세하고 균일한 수의 균일한 표면을 가져야 합니다.
이미지 시퀀스는 가능한 많은 양면을 일관된 방식으로 그리고 큰 도약 없이 묘사되어야 합니다..
충분한 수의 시차가 있어야 합니다. 예를 들어, 강한 줌 렌즈의 경우에는 그렇지 않습니다. 같은 이유로 단일 카메라 움직임으로 구성된 영상도 적합하지 않습니다.
가능하다면 유리, 크롬 및 종잡을 수 없는 하이라이트와 같은 반사 재질은 피해야 합니다.
여러분만의 야외 영상을 만들고 싶으면, 보다 균일하고 확산된 빛을 얻기 위해 흐린 날씨에 찍는게 도움이 됩니다.
유용한 정보
리샘플 값이 풋티지 메뉴에 있는 것과는 별도로, 씬 재구성(다른 해상도를 정의하지 않은 경우)은 항상 전체 비디오 해상도를 사용합니다.
트랙은 인접 지역을 재구성할 시작 지점으로 사용됩니다.
균일하고 적절한 트랙 깊이를 유지하세요. 더 많은 트랙이 존재할수록 더 많은 시작 지점이 있을 것이며 더 많은 지역이 재구성될 확률이 커집니다. 규칙의 예외: 하나의 피쳐로 비교적 크고 연속적인 표면을 재구성하기에 충분합니다.
크고 균일한 색상이 지정된 영역(예. 하늘)은 다른 카메라 위치에서 식별할 수 없으므로 구성되지 않습니다.
제한
설정 값이 높거나 동영상 해상도가 높으면 많은 메모리가 필요할 수 있습니다. 내부 테스트 결과 10GB가 넘는 용량이 필요하다는 사실이 입증되었습니다.
설정에 따라, 몇 분에서 몇 시간의 렌더링 시간이 필요할 수 있습니다.
씬 재구성을 위해서는 좋은 카메라 재구성이 필요합니다. 동영상 화질이 카메라 재구성을 올바르게 계산하기에 충분하지 않은 경우 이를 기본으로 사용하는 씬 재구성이 특히 잘 되지는 않습니다.
카메라에 보이지 않는 영역은 물론 정확하게 재구성될 수 없습니다. 3D 피쳐가 너무 적게 계산된 영역에도 동일하게 적용됩니다.
어떻게 동작하는가
사용되는 알고리즘은 복잡하며 여기서는 간단히 설명하겠습니다(패치와 셀을 설명할 때 파라미터 이름 지정이 이해하기 어렵습니다). 다행히 품질 설정은 자체 품질 기준에 따라 설정을 조정합니다.
일반적으로, 씬 구성을 실행하면 어떻게 될까요?
프레임 범위가 선택됩니다(카메라 움직임이 더 빠르면 적어도 10개 이상)
각 프레임은 카메라 위치를 가집니다(이전에 실행된 3D 카메라 재구성을 통해 확인됨)
각 프레임은 그리드를 사용해서 정사각형 셀로 나뉩니다.
다양한 카메라 위치에서 볼 수 있는 씬의 3D 포인트는 각 해당 프레임에 2D 위치를 가집니다. 이 지점은 차례로 셀 안에 위치합니다.
이전에 완료된 3D 카메라 재구성은 이미 3D 포인트(3D 피쳐)를 생성합니다. 이들은 시작 패치를 만드는데 사용됩니다. 패치는 나중에 포인트 클라우드가 생성될 공간의 포인트입니다. 각 패치는 작고 평평한 표면 영역을 나타냅니다.
패치와 해당 셀은 각 프레임에 대해 정의됩니다.
반복적인 확장 프로세스가 진행되는 동안 기존 패치(재구성할 3D 표면 위에 놓여 있음)을 기반으로 추가 패치가 생성됩니다.
새 패치가 셀에 할당되고 셀 그리드가 천천히 꽉 차게 됩니다. 목표는 셀에 패치를 배치하는 것입니다(실제로는 거의 발생하지 않습니다).
이 시점에서 새 패치를 확장하는 것은 빈 셀을 대상으로 했습니다.
확장 프로세스는 다양한 내부 필터 요구 사항을 충족하는 새 패치를 생성할 수 없을 때까지 계속 됩니다(생성된 각 패치는 일련의 테스트를 거치며 통과되지 않으면 패치가 삭제됩니다). 또는 모든 프레임에서 셀은 최소한 하나의 패치가 있어야 합니다.
요컨대, 이 알고리즘은 기존 3D 버텍스(첫번째 확장 프로세스에서 카메라 재구성 피쳐들; 후속 확장 프로세스에서 이전의 확장 패치들)을 시작 위치로 사용하고 3D 표면을 가로질러 바깥쪽으로 확장합니다. 이 기능이 얼마나 잘 작동하는지는 동영상이나 씬(카메라 재구성도 포함)에 달려 있습니다.
패치는 Scenepointcloud라는 이름의 폴리곤 오브젝트에 적용됩니다. 각 버텍스는 버텍스 컬러 태그로 폴리곤 오브젝트에 추가된 영상에서 확인된 색상을 가집니다. 원할 경우 "메싱”을 수행할 수 있는데, 이것은 재구성된 버텍스들에서 폴리곤 표면을 생성합니다.
사용 가능한 품질 수준에 따라 아래 설정을 정의하는 다양한 프리셋 설정을 찾을 수 있습니다. 일한 선물들을 사용해서 만족할만한 결과를 얻을 수 없다면 동영상이 최적이 아니라고 가정해야 합니다(최적 동영상을 참고하세요).
반복이 증가할 경우 간격이 어떻게 가까워지는지 확인하세요. 왼쪽에서 오른쪽으로 각각 1, 2 and 3 값입니다.
내부 프로세스 기능이 어떻게 작동하는지 순서를 간략하게 살펴보면 일련의 반복 작업이 처리되는 것을 알 수 있습니다. 주로 빈 영역에 새 패치를 생성하고 "나쁜” 패치를 최적화 및 필터링한 다음 이 프로세스를 반복합니다. 이 설정은 발생해야 하는 반복 횟수를 정의합니다.
값이 높을수록, 포인트 클라우드에서 표시할 "간격”이 줄어들고 렌더링 시간이 늘어납니다.
서로 독립적으로 작동하는 두 가지 설정은 동영상이 재구성을 위해 사용될 해상도를 정의하는 3D 카메라 재구성(리샘플링) 및 씬 재구성에 사용할 수 있습니다. 풋티지 서브샘플링 설정은 씬 재구성에 사용됩니다.
씬 재구성을 위해 동영상을 더 낮은 해상도로 내부적으로 처리해야 하는 경우, 이 값을 늘려야 합니다. 값 0은 원래의 해상도를 반영합니다(다음 단락을 참조하세요.) 해상도의 절반(즉, 4픽셀의 정사각형 영역이 컴파일됩니다) 등을 반영합니다. 씬 재구성은 해상도가 증가함에 따라 더 빨리 계산되지만 포인트 클라우드 밀도는 이에 따라 감소합니다.
해상도가 매우 높은 동영상이 있는 경우 이 설정을 사용할 수 있습니다(예. 1보다 큰 값). 그러면 렌더링 시간이 어느 정도 단축됩니다.
N원래 해상도의 갑이 0이면 반드시 1로 설정하는 것보다 더 나은 결과를 생성하지 않습니다. 내부적으로 패치에서 카메라의 거리에 따라 다른 해상도가 사용됩니다. 정의할 해상도는 명시된 카메라에서 패치 거리에만 적용됩니다(이것은 "참조 카메라”를 사용해서 정의됩니다). 정의된 해상도가 전체 거리에 사용됩니다. 카메라와 패치 사이의 거리가 크게 다를 경우 더 낮은 해상도와 더 높은 해상도가 자동으로 적용됩니다. 그러나, 값을 0으로 설정하면 더 높은 해상도를 적용할 수 없습니다. t
이 메커니즘을 통해 다양한 거리의 패치를 보다 쉽게 비교할 수 있습니다.
포인트 밀도 값은 왼쪽에서 오른쪽으로: 3, 5, 7.
기능에서 설명한 것처럼, 동영상의 각 프레임은 그리드로 나뉩니다. 알고리즘은 그리드의 각 셀에서 포인트 클라우드에 대한 3D 포인트를 계산하려고 시도합니다. 이상적으로(최적의 동영상을 사용하여) 이 작업이 가능합니다(대부분의 경우 간격이 유지됩니다).
어쨋든, 포인트 밀도 값은 그리드의 개별 셀 크기를 정의합니다. 값이 클수록 셀이 작고 밀도가 높아지고 포인트 클라우드는 더욱 밀도가 높아집니다. 최대값 9은 셀 크기가 픽셀 크기와 같아지므로 이상적으로 한 지점이 동영상의 각 픽셀에 높입니다. 물론 렌더링 시간은 포인트 밀도 값이 증가함에 따라 증가할 것입니다.
왼쪽에서 오른쪽으로 패치 사이즈 값: 5, 10, 20, 50, 100. 값이 증가하면 품질이 향상됩니다.
이 알고리즘은 특정 시간에 동영상의 작은 영역을 인식하여 패치의 위치와 회전을 보다 잘 정의하고 최적화합니다. 패치 사이즈 값은 이러한 영역의 정사각형 크기를 픽셀 단위로 정의합니다. 원칙적으로 이 값은 씬 재구성을 위한 2D 트래킹 메뉴의 패턴 사이즈만 반영합니다:
다시: 각 패치는 이후에 포인트 클라우드에서 3D 포인트로 나타납니다.
값이 높을수록 포인트 클라우드의 품질이 향상되고 렌더링 시간이 늘어납니다. 위의 그림에서, 예를 들어 윈도우 프레임과 바의 왜곡이 패치 사이즈 값이 증가함에 따라 향상되는 것을 확인할 수 있습니다.
이 값은 패치의 픽셀 변형을 참조로 사용하는 임계값을 제어합니다. 패치의 표면에서 실제 변화가 일어나지 않는다면(즉, 기본적으로 단조롭고 높은 콘트라스트가 없는 경우), 최소 텍스쳐 디테일 값이 높아지면 패치가 생성되지 않습니다(이 위치에서 재구성되지 않습니다).
이 설정의 목적은 이 설정의 값을 신중하게 늘림으로써 텍스쳐 세부 사항이 낮은 영역(예. 푸른 하늘) 패치가 생성되는 것을 방지합니다. 이러한 영역은 처리하기가 매우 어려우므로 오류가 발생하기 쉽습니다.
텍스쳐 디테일이 높은 동영상이 있는 경우, 이 값을 높이면 포인트 클라우드의 품질이 향상될 수 있습니다.
요약하면, 값이 높을수록 패치의 품질은 작지만 재구성 포인트의 품질은 높아집니다; 값이 낮을수록 품질은 높지만 낮은 패치/재구성 포인트가 생성됩니다.
기본값인 0.5%는 대부분의 동영상에 충분해야 합니다.
작은 그룹 필터 왼쪽 해제, 오른쪽 사용.
이 옵션을 사용하면, 씬 재구성이 작고 고립된 패치 영역을 제거하려고 합니다. 위 이미지에서 필터링된 작은 고립된 포인트 클러스터의 수를 확인해보세요.
그러나 이 설정의 효과는 동영상에 많이 의존하므로 불필요하게 패치가 제거될 수 있으므로 비활성화될 수도 있습니다.
영향을 받는 각도는 어느 것입니까? 첫번째 카메라와 패치 사이와 두번째 카메라와 패치 사이에 직선을 상상해보세요: 두라인 모두 패치에서 만납니다. 이 선들 사이의 각도는 영향을 받는 각도입니다.
패치는 다른 카메라 위치(카메라 재구성의 패치)에서 처리됩니다. 이 설정은 움직이지 않을 가능성이 있는 인접한 두 카메라(패치가 거의 동일함)가 패치를 처리하지 못하도록 카메라 사이의 최소 각도가 유지되도록 합니다.
기본값은 대부분의 동영상에 적합합니다. 카메라가 아주 약간만 움직이는 비디오의 경우 값을 약간 낮추는데 도움이 될 수 있습니다. 그러나 이것은 재구성의 정확성을 떨어뜨립니다. 뷰가 패치로 채워지고 더 낮은 값이 사용될 때 재구성된 포인트가 있으면(즉, 양이 항상 동일한 품질을 차지하지는 않는 경우) 바보 같은 행동을 하지 마세요.
요약하면, 갚이 높을수록 품질은 낮지만 패치/재구성 포인트의 품질은 높아집니다; 값이 낮을수록 품질은 높지만 품질이 낮은 패치/재구성 포인트가 생성됩니다. 값이 너무 높으면 포인트 클라우드가 전혀 생성되지 않습니다.
값의 차이는 위의 효과를 나타냅니다. 왼쪽부터 시계방향으로: 최고 각도값이 2°, 5°, 10°, 15°.
고급 설정 메뉴에서 설정이 정의되면, 이 포인트들을 사용해서 폴리곤 메쉬를 만들 수 있습니다.
두 설정 모두 비슷한 효과를 가집니다.
값이 커질수록, 이 설정은 큰 삼각형을 동일한 서페이스를 덮는 작은 삼각형으로 대체하려고 시도합니다.
가능한 경우, 결함이 있는 표면이 빠져나옵니다. 매우 큰 값이 정의되면 씬에 따라 그에 따라 더 적은 메쉬가 유지됩니다.
포토메트릭 웨이트 설정은 에어리어 웨이트 설정보다 동영상 정보를 사용해서 조금 더 똑똑합니다.
씬 재구성이 이미 수행된 경우, 이미 포인트 클라우드 생성 버튼을 클릭 한 경우, 이 데이터는 해당 폴리곤 메쉬를 생성하는데 사용됩니다. 에어리어 웨이트 및 포토메트릭 웨이트 설정은 언제든지 변경할 수 있으며, 메쉬 생성하기를 클릭하면 완전히 새로운 씬 재구성을 수행하지 않고도 새 메쉬가 생성됩니다.
씬을 재구성하지 않으면 이 작업이 완료되고 메쉬가 생성됩니다. 폴리곤 오브젝트의 개별 포인트는 공간에서 재구성된 3D 위치에 해당합니다.
메쉬에 주의를 기울이기 전에, 밀도와 범위에 만족할 때까지 먼저 포인트 클라우드를 생성하는 것이 좋습니다.
Tip: 폴리곤 메쉬에 퐁 태그를 지정하여 부드럽게 만드세요.
왼쪽은 포인트 클라우드를 사용하여 생성된 메쉬. 오른쪽 아래의 메쉬는 버텍스 컬러 태그와 함께 버텍스 쉐이더가 지정되었습니다(카메라 매핑 태그를 사용하여 동영상으로 직접 텍스쳐링할 수도 있습니다).
메쉬의 문제가 있는 영역에는 포인트 클라우드의 틈이 있습니다. 이들은 크기에 관계없이 처음에는 닫히게 될 것이고, 매우 큰 삼각형이 만들어질 수 있고 결구겡는 보기 좋지 않습니다. 이전의 두 설정은 이 효과를 줄이기 위해서 사용할 수 있습니다.
이 버튼을 클릭하면 씬 재구성이 시작됩니다. 결과가 성공적이면 버텍스 컬러 태그(동영상의 각 포인트의 각각의 색상이 저장됨)가 있는 씬 포인트 클라우드가 됩니다.
동영상 및 설정에 따라, 계산을 완료하는데 몇 분에서 몇 십분이 걸릴 수 있습니다.
하나 이상의 전제 조건이 충족되지 않으면 이 버튼이 회색으로 표시됩니다. 예를 들면:
카메라 재구성이 완료되지 않았습니다
영상을 찾을 수 없습니다