뉴로 시각센서의 탄생

화상처리 시스템의 기원은 어떻게 될까? 또, 어떤 문제점을 가지고 있을까? 이번 호에서는 위 질문에 대한 답변을 설명함과 동시에, 화상처리 시스템에 실제 인간 시각계의 장점을 도입하는 등 새로운 발상을 접목해 개발한 테크노스 시스템에 대해서도 소개한다. 

야마다 요시로(Yamada Yosiro)

테크노스 대표이사 겸 기술사

인간 시각계에서 배우는 화상처리의 기본

인간의 눈은 어떤 식으로 기능하고 있을까? 이에 대한 대답은 그림 1에서 확인할 수 있다. 인간의 시각계는 눈 부분과 뇌 부분으로 이뤄져 있는데, 이것이 바로 ‘눈의 뉴로’와 ‘뇌의 뉴로’다. 그러나 지금까지 알려져 있던 것과는 달리, 각각의 기능에는 상당한 차이점이 있다.

화상처리 장치에서 기존 카메라는 단순히 외계에서의 이미지 정보를 전기신호화해서 뇌에 정해진 처리장치로 보내는 것으로 생각돼 왔다. 그러나 사실상 인간의 눈에는 상당 부분 전처리 기능이 포함돼 있다.

테크노스는 눈의 기능을 전자회로화함으로써 ‘눈의 뉴로’로서 지금의 자동 검사 시스템으로 실현했으며, 이와 함께 최근에는 인간의 뇌 기능을 ‘뇌의 뉴로’로 하고 전자회로화해 판단 기능의 고도화를 달성했다.

‘눈의 뉴로’는 눈 망막에 있는 세포기능의 전자회로화와 안구 근육에 의한 눈의 고시미동(눈이 일정한 점을 직시하고 있을 때 일어나는 작은 안구의 움직임) 기능을 전자회로화하는 것이다. 이런 기능들은 수광 화상의 농도 변환 및 노이즈 제거보다 보고 싶은 것으로 튜닝함으로써 요구하는 이미지를 보기 쉽게 한다. 평활화의 경우 이미지를 부드럽게 할뿐만 아니라, 찾고자 하는 대상을 보기 쉽게 한다. 이들은 수취한 이미지 중 필요한 부분을 선별하는 기능을 하고 있어 전처리의 중요한 요소며 인간의 눈으로서의 기능으로도 중요하다.

그밖에 눈 신경세포의 기능은 뇌의 해마에 접속돼 쌍방향 정보 전달에 의한 검지 제어 부분을 가지고 있으며, 뇌의 기능과 밀접하게 연계돼 있다. 이에 대해 기존 화상처리 장치는 망막의 빛 수용세포 기능을 카메라로 바꿔놓기만 한 것일 뿐이었다. 기존에는 이것이 크게 다르다는 것을 이해하지 못했다.

인간의 시각계에서는 눈의 방향을 자유롭게 바꿀 수 있고 큰 변화에 대해서는 얼굴을 돌림으로써 대상을 포착한다. 결함이 작으면 바싹 당겨보고 얼룩 등을 볼 때에는 조금 거리를 두고 보는 등 줌 기능과 동일한 정밀도의 센서를 사용해 높은 정밀도로 대상물의 이미지를 포착할 수 있다. 이런 움직임을 화상처리기기에서 실현시킬 경우에는 기하학 변환처럼 평행이동, 회전, 확대 및 축소 등을 조합시켜야 할 필요가 있다.

기존 화상처리의 경우 결과적으로 인간의 기능에 가깝긴 하지만, 눈의 기능을 전자회로화하는 콘셉트의 제품은 없었으며, 주로 2값화 CCD 카메라 방식인 경우가 대부분이었다. 그에 반해, 테크노스는 눈의 기능을 전자회로화함으로써 인간과 같은 시선(점과 선을 보는 방법)이면서도 인간의 100배 이상의 검지 능력을 가지는 시스템을 구축할 수 있었다.

인간 시각계의 구조와 전처리

인간의 경우 눈의 구조와 움직임에 의한 효과와 세포의 활동에 의한 것으로 나눌 수 있다.

구조에 의한 처리

그림 2의 왼쪽 부분에는 눈의 단면 구조를 나타냈다. 안구 근육이 움직이면 고시미동이라 불리는 동작에 의해 핀트 맞춤이나 광축 조정 및 시야에서 놓치는 것을 막을 수 있게 된다. 인간의 안구는 지름이 약 24㎜이며, 6개의 안구 근육에 의해 지지되고 있다. 3개는 수의근이며 나머지 3개는 불수의근이다. 전자는 인간이 의식해서 사물을 보려고 할 때 작동하며, 3개의 안구 근육에 의해 임의의 방향으로 안구를 향하도록 할 수 있다. 또, 크게 움직여야 하는 때는 얼굴을 돌리도록 할 수 있다. 한편, 불수의근은 심장과 마찬가지로 의지에 의해서가 아니라 본능적으로 움직인다. 이 움직임을 고시미동이라 하며, 시선을 고정하고 있어도 저절로 미동하는 것을 뜻한다. 고시미동에는 플릭과 드리프트, 트레모어의 3가지 움직임이 있다.

우선, 플릭은 0.2초에서 3초 간격으로 좌우 안구가 동시에 움직이는 것을 말하는데, 중심와라고 불리는 망막의 오목한 부분에 찍힌 이미지에 의해 핀트가 맞는지 아닌지를 검지한다. 드리프트는 인간의 눈이 좌우 2개기 때문에 대상물이 멀리 있으면 광축은 평행에 가깝게 되고 가까이 있으면 광축은 가까이에서 항상 교차하도록 움직이는 것을 말한다. 마지막으로, 트레모어는 매초 80회 정도 양쪽 눈이 세로로 움직임으로써 보지 못하고 놓치는 일이 발생하지 않도록 하는 것을 말한다.

플릭은 오토 포커스로 향후 테크노스의 카메라에 탑재될 기능이며, 디지털 카메라에는 이미 널리 탑재되고 있는 전처리 기능이다. 산업용 카메라에도 핀트가 맞지 않으면 정확한 화상처리가 가능하지 않으므로 필수적인 기능이라 할 수 있다. 드리프트는 광축 조정을 실시간 실시하는 것으로, 인간이 무엇에 착안하는가로 결정된다. 따라서 향후에는 움직이고 있는 사물에 맞춰 광축을 맞춰가는 등의 기능이 카메라에 탑재될 가능성이 있다.

한편, 인간의 눈 속 센서인 빛 수용세포의 수광부는 원추체로, 3개의 원 틈새에 결함이 찍혀 있으면 전혀 보이지 않게 된다. 트레모어는 이를 방지하기 위해 매초 80회 정도 눈을 세로로 진동하도록 함으로써 보지 못해 놓치고 지나가지 않도록 한다.

테크노스는 이런 기능을 전자회로화함으로써 못보고 놓치는 현상을 완전히 없앨 수 있는 검사 시스템을 구축했다. 이 기술은 전 세계 14개국에서 특허 등록돼 있다. 또한, 테크노스는 이 외에 홍채에 의한 조임 최적화에 관한 기술도 향후 카메라에 탑재할 계획이다.

세포 구축에 의한 처리

그림 2는 망막의 세포 구조를 나타낸 것이다. 외계의 이미지는 그림 1의 왼쪽 방향에서 광학 정보로 얻어진다. 빛은 왼쪽 방향에서 렌즈인 수정체를 통해 안구의 오른쪽 측면에 있는 망막에 도달한다. 그림 2에서 망막은 투명하기 때문에 외계에서 들어온 빛은 왼쪽에서 망막을 빠져나가 가장 오른쪽에 있는 색소상피층에 부딪혀 반사되고, 뒤쪽에 나열돼 있는 센서인 빛 수용세포(추체)에 도달한 후 전기 변환돼 그림 왼쪽 방향으로 진행한다.

빛 수용세포에는 바로 옆에 수평세포가 있고, 이 세포에는 망막에 수평으로 노드가 있어 주변에 있는 60∼80개의 빛 수용세포 데이터를 적산한다. 이 기능은 밝기 정밀도가 20단계에 불과해 불규칙한 분포가 5%에 이르는 빛 수용세포의 정밀도를 단숨에 20단×80개=1,600단계(일반적으로는 1,500∼2,000단계라고 함)로까지 끌어올린다. 또한, 이 기능으로 이미지 전처리의 농도 변환, 노이즈 제거, 평활화가 가능해진다.

기존의 경우 일반적으로는 불가능할 것으로 판단돼 왔던 색의 불균일 검지도 수평세포 기능의 전자회로화로 인해 인간의 빛 수용세포의 밝기 정밀도 20단을 256단계로 끌어올릴 뿐 아니라, 수평세포의 80개분 적산을 800번 연산할 수 있도록 함으로써 256×800=204,800단계의 색 불균일을 검지할 수 있도록 한다. 이 정밀도는 인간의 100배가 넘는 것으로, 이미 액정이나 플라즈마 등 디스플레이와 관련한 자동 외관 검사에 널리 사용되고 있다.

그림 2의 아마크린세포는 정의의 편에 반대 기능을 가지고 있어, 강한 것을 돕고 약한 것을 억제하는 기능을 가지고 있다, 그림 3 및 그림 4와 같이 하얀 선의 교차 부분이 검게 보이는 것은 이 기능 때문이다. 이렇게 해서 눈 속 세포기능에 의해 이미지가 미세한 곳까지 선명해질 수 있다. 일반적인 이미지를 검지할 경우에는 이미지를 강조할 뿐이지만, 특수한 조건, 예를 들어 그림 8과 같은 착시 조건에서는 실제 사물과는 다르게 보이도록 한다.

이는 화상처리 시스템으로 촬영해도 동일하므로 화상처리 시스템을 조정할 때에는 착시에 의해 어떻게 보이냐 하는 것도 염두에 둘 필요가 있으며, 또 착시에 의한 강조를 도입해 고감도로 검지해야 함을 고려해야 할 것이다.

테크노스의 최신 센싱 기술은 스마트폰의 촬영 팁으로부터 액정, 플라즈마, 유기 EL 디스플레이 등의 반복 패턴 속 미세한 결함을 검지하는 것으로 세계적인 특허를 취득했다.

하드웨어와 소프트웨어의 사용 구분

화상처리의 아키텍처는 여러 가지가 있는데 테크노스가 추구하는 것은 동시 병렬 처리와 플로우 프로세서에 의한 고속화다. 둘 다 프로세서를 하드웨어화해서 고속 응답성을 부여한다. 단순한 연산의 병렬화로는 인간의 망막처럼 동시 병렬의 하드웨어가 적합하며, 쇼트 텀으로 변경해야 하지만 그다지 속도가 필요 없는 부분에는 소프트웨어 처리를 사용해야 할 것이다.

최근에는 프로세서의 성능이 향상돼 있기 때문에 다소 복잡한 로직이라 해도 매우 단시간에 처리를 할 수 있지만 수초 정도는 걸리는 것도 사실이다. 전체의 택트 타임(Tact Time)을 고려해 하드와 소프트의 비율을 정하는 것이 최적 시스템을 구축하는 비결이다.

산업용 시스템의 경우 비용이 우선시되는 경향이 있어 복사 사용이 가능한 소프트웨어로 구축하는 사례가 많다는 점과 최근 하드웨어 기술자가 줄고 있다는 점을 고려하면 소프트화되고 있다는 사실은 분명하다. 그러나 적재적소의 개념은 필수적이다. 특히, 고속처리가 필요한 대상인 경우 하드웨어화는 피해갈 수 없는 부분이며, 우리들이 이 부분을 중요시하는 것은 앞으로도 변함없을 것이다. 되짚어 보면 인간의 화상처리 아키텍처는 바로 이러한 구성에 가깝다는 것을 알 수 있다.

지금까지 생각돼 온 것처럼 눈이 카메라의 기능뿐이라면 그대로 모든 정보가 해마에 전해져 뇌에서 모든 처리를 해야 한다. 그러나 실제적으로 눈의 부분에서 하드웨어적으로 각종 전처리를 하고 있으며, 이 기능을 전자회로화한 것이 테크노스의 ‘눈의 뉴로’ 부분인 것이다. 이 부분의 경우 기능 자체는 단순해 눈의 세포기능을 사용해 전처리를 하고 있다. 기본적으로 테크노스의 경우에도 하드웨어로 그 기능을 실현하고 파라미터를 바꾸어 튜닝을 실시할 수 있도록 하고 있다. 이 부분은 세포기능도 병렬 처리로 돼 있다. 그러나 전처리 종료 후 후처리가 되면, 그다지 속도가 필요하지 않기 때문에 고기능 뇌에 처리를 분담시키고 있다.

인간의 화상처리 기능을 생각해 보면 분명 그 배치가 적절해 도대체 누가 설계한 것일까 하는 생각이 들 정도의 훌륭한 아키텍처로 돼 있다. 따라서 이러한 아키텍처를 토대로 설계하는 것이 합리적일 것이다.

시스템과의 정합성

앞서 인간에 의한 화상처리 아키텍처를 목표로 한 시스템의 최적화와 관련해 하드웨어와 소프트웨어의 관계를 설명했다. 화상처리뿐 아니라, 전체 시스템 구성에 있어 적재적소의 개념을 적용하는 것은 매우 중요하다. 시스템을 만들면서 자연스러운 흐름과는 다르거나 같은 부분을 파악하면서 개발을 진행하는 것은 중요한 일이다. 아무리 이미지 전처리로 잘 강조한다 한들 그 다음의 부분에서 내용을 파악할 수 없으면 전혀 쓸모없게 되므로 전체적으로 기능하게 할 필요가 있다.

전처리에 의한 이미지 강조 기능과 더불어 후처리의 기능을 파악하면서 어느 부분에서 시스템 전체의 밸런스를 생각해 연결할 것인지를 정하는 것이 중요하다. 자연스러운 흐름이 가능하다면 결과는 따라오게 될 것임에 틀림없다. 무엇을 하고 싶은지, 최종적으로 무엇이 필요한 것인지 불분명한 상태로는 시스템 구축이 불가능하다. 지금까지의 CCD 카메라 방식과 마찬가지로, 목표를 명확히 하는 것은 자동 검사 시스템 구축에 필수적이다. 우선은 확실하게 기본 원리부터 검지 성능을 향상시키고, 그 후에 시스템을 구축할 필요가 있다.

중요한 것은 화상처리 시스템만 구성하면 되는 것이 아니라, 백그라운드로서 명확한 목표와 사내의 의견일치(Consen sus)를 고려한 토털 시스템으로서의 최적화다. 전문가와의 상담도 충분히 진행함으로써 가능성과 한계를 파악한 후 최종 이미지를 그려나갈 필요가 있다. 실증이 필요하므로 최소한의 한도 견본도 필요하다. 최초에 방향을 잡는 것이 대단히 중요하므로 경험이 충분한 컨설팅을 잘 활용하는 것도 좋은 방법일 것이다.

뉴로 시각센서의 성능과 특징

그림 5는 최신 시스템이 탑재된 최신형 7K 카메라다. 이 시스템은 2m 떨어진 거리의 1.4m 폭 안에서 0.05㎜=50μm을 검지할 수 있는 성능을 가지고 있다. 여기서 50μm을 검지하도록 한 것은 인간의 눈으로 보이는 최소한의 크기가 50μm이기 때문이다. 또한, 이처럼 인간의 눈으로 검지할 수 있는 최소한의 크기가 50μm인 이유는 그림 6과 같이, 눈에서부터 240㎜ 앞에 50μm의 물체를 두면 수정체에서 망막까지의 거리 24㎜로 인해, 50μm이 24㎜/240㎜=1/10라는 계산식에서 5μm이 되므로 눈 망막에 있는 빛 수용세포(추체)와 같은 크기가 되기 때문이다. 

추체는 한쪽 눈에 600∼700만개가 있다고 알려져 있으며, 지름 3㎜ 정도의 크기에 집중돼 있다고 한다. 그렇다면 계산상 240㎜ 앞에서는 30㎜ 정도의 시야가 된다. 테크노스의 최신 시스템에서는 한 번에 1,400㎜ 폭으로 2,000㎜ 떨어진 상태에서 보이도록 구성했다. 핀트 폭의 경우 기존 4,000화소 CCD 카메라(풀 하이비전에서도 폭 방향의 화소수는 1,920화소)에서는 ±30μm=±0.03㎜밖에 되지 않는다. 예를 들어, 액정 패널에 사용되는 유리는 두께가 0.7㎜기 때문에 핀트 폭 ±0.03㎜에서는 윗면에 핀트를 맞추면 아랫면은 흐릿해지므로, 실제로는 반송 진동을 ±0.03㎜로 하기 어렵다. 또 카메라 대수를 늘리면 설정에 시간이 걸리기 때문에 정밀도를 속여 대수를 줄여서 핀트 폭을 늘리곤 한다.

원래 고정밀도로 검지해야 하는 목표에 대해 속임수를 쓰는 것은 용납될 수 없지만, 실제로는 이런 식으로 사용해야 한다는 점이 CCD 카메라 방식의 수많은 결점 중 하나다. 4,000화소라고 하면 비디오카메라의 수십만 화소나 수백만 화소보다 낮은 정밀도인 것처럼 들리지만, 지금 현재 각 가전 제조 업체가 개발 경쟁하고 있는 것도 풀 하이비전(폭 방향 1,920화소=약 2K)의 두배인 4,000화소=4K에 불과하다는 사실을 감안하면 결코 낮은 게 아니다. 앞으로 개발될 카메라라고 해도 75㎜까지 근접시켜야 겨우 50μm를 검지할 수 있으며, 이후 개발되는 최신 비디오카메라도 비슷한 성능일 것이다.

테크노스의 최신 시스템은 같은 50μm를 2,000㎜ 떨어져 1,400㎜ 폭으로부터 검지할 수 있으며, 핀트 폭=피사계 심도는 ±200㎜나 된다. 400㎜의 스팬이 있으면 대부분의 입체 형상 가전제품을 육안 240㎜와 같은 정밀도로 검사할 수 있고, 그 배인 4m 떨어져서 2,800㎜ 시야로 하면 피사계 심도는 ±950㎜가 돼 스팬은 1,900㎜가 된다. 대부분의 차 폭 전체를 점 결점시 0.1㎜ 정밀도, 선 결점시 0.02㎜ 정밀도로 검지할 수 있는 것이다. 이와 같이, 먼 곳에서 고정밀도로 검지를 할 수 있으며, 동시에 핀트 폭은 기존 CCD 카메라 방식의 6,600배나 되기 때문에 입체 형상물의 검사를 실현할 수 있다. 

또한, CCD 카메라 방식의 경우 시야 폭도 4K 카메라로 50㎜ 시야에서 50μm이므로 테크노스와 같이 50μm을 1,400㎜ 폭으로 보기 위해서는 28대의 카메라가 필요하다. 배선, 컨트롤러 수, 중복 조정이나 핀트, 조리개 등의 광학 조정도 28대분을 해야 한다. 그에 반해, 테크노스는 단 1회의 핀트 조정 및 조리개 조정이면 된다. 이전에는 외관 검시 시스템의 설정도 현미경처럼 연직으로부터의 검지뿐이었지만, 최근에는 미묘한 홈이나 돌기 등을 검지하기 위해 각도 조절이 필요한 경우도 많아서 단 1대의 카메라도 미묘한 각도 변경이 쉽게 가능하다.

뉴로 시각센서의 응용

대부분의 제조업체에서 입수 검사·중간 검사·최종 검사 등에 그 응용 예가 있다. 일본 도쿄증권거래소 1부 상장기업을 중심으로 240개사를 비롯한 철강·자동차·필름·도체·액정 등 33개의 업계 선두기업에서도 도입하고 있다. 이와 관련해 응용되는 대상물 일러스트를 그림 7에 나타냈다. 대수가 많은 것은 액정 관련의 유리·컬러 필터·고기능 필름·도장 강판 등이다.  

본 기사는 日本工業出版이 발행하는 월간 画像ラボ와 기사협약에 의해 轉載한 것입니다

월간 FA저널 다른기사 보기