컨트롤 시스템 업그레이드로 ‘마음의 평화’를~

돈 기어스(Don Geers)

말린크로트 제약 수석 유지보수 엔지니어

새로운 프로세스 자동화 시스템을 통해 제약회사는 대응적 유지보수에서 예방적 유지보수로 전환시켜 다운타임을 줄이고 지속적인 향상을 뒷받침한다.

유지보수 엔지니어들은 비용 지출이 왜 필요한지 설명하면서 수많은 시간을 보낸다. 컨설팅 서비스, 하드웨어 및 소프트웨어 업그레이드, 유지보수 계약, 투입 인력, 예비 부품 등은 모두 비용이 드는 일이며, 변경 비용보다 다운타임 비용이 월등히 높을 경우라면 반드시 투자해야 하는 비용이다.

그렇다면 마음의 평화를 위한 비용은 어떻게 계산하고, 그 타당성은 어떻게 입증할 수 있을까? 잠을 몇 시간 동안 푹 자야 설비 고장에 대한 고민을 떨칠 수 있을까? 대응적 유지보수에 몇 시간을 투자해야 문제를 해결할 수 있을까?

사실 마음의 평화는 값을 매길 수 없는 상품이다. 제어 시스템 업그레이드에 X달러를 지출해 양적 이득을 발생시킬 때 얻게 되는 질적 이득이기 때문이다.

내가 일하는 말린크로트 제약(Mallinckrodt Pharmaceuticals)은 최근 세인트루이스에 있는 대형 API(제약 유효성분) 공장의 제어 시스템 업그레이드를 완료했다. 이 공장은 40에이커 크기의 부지에 있는 여러 제조라인 중 하나로, 마취제 및 최종 판매용 제품에 들어가는 성분을 생산한다.

이 공장을 작동하는 1986년도식 PLC를 이해할 수 있는 사람은 500명의 직원 중 단 2명뿐이다. 또한 예비 부품을 구하기가 점차 어려워지는 데다 가격도 만만치 않다. 유지보수 직원들은 노후화된 기술을 업그레이드해 공장에 공통 제어 시스템 플랫폼을 설치하기로 했다. 이를 통해 덤으로 얻은 이익은? 바로 ‘마음의 평화’다.

새로운 변화에 친숙해지기

수년에 이르는 다단계 업그레이드는 굉장히 소모적인 작업이다. 우리 프로세스는 1년 365일 실행하기 때문에 운전 정지시간을 최소화해야만 했다. 또한, 시스템을 다시 가동시키는 즉시 완전 가동 상태에서 효율적으로 실행할 수 있어야 했다. 프로세스를 유지하기 위해 우리는 단계별로(설계, 구성, 시험, 인증) 위험도를 평가한 후 전체적인 프로젝트 성공도와 비교했다.

다행히 설치로 인한 시스템 다운타임은 단 5주였는데, 이는 부분적으로 스마트 엔지니어링, 마이그레이션 툴, 폭넓은 기능 시험 덕분이었다. 기존 PLC 시스템을 로크웰오토메이션의 PlantPAx 프로세스 자동화 시스템으로 교체함으로써 공장 전체에 걸친 제어 및 정보 이용이 가능해졌다. 설비의 기존 HMI를 수정해 신규 HMI 그래픽을 작성하고 API 라인에 필요한 140개의 프로세스 그래픽 화면으로 구성했다. 목표는 운영 인터페이스를 공장의 기존 장비와 거의 유사하게 구성함으로써 새 시스템을 가동했을 때 운영자들이 시스템으로 자연스럽게 전환할 수 있도록 하는 것이었다.

PlantPAx 시스템으로 해당 라인의 업타임은 현저하게 늘어났다. 또 하나의 장점은 제어실의 씬클라이언트(Thin Client)를 이용해 아키텍처를 가상화한 점이었다. 고가의 대용량 서버가 더 이상 필요 없고, 가상 환경에서 단 몇 개의 서버만으로 강력하고 신뢰성 있는 아키텍처를 구축할 수 있게 됐다. 또한, 예전에 공장 내 다른 설비에서 최신 기술로 업그레이드한 적이 있기 때문에 쉽게 시스템을 파악하는 엔지니어링 직원이 많이 있었다. 이로 인해 유지보수에 대한 단일 책임으로 야기되는 위험도 없어졌다.

우리 건물에서는 더 이상 노후화된 제어 기술에 시간을 보내지 않는다. 공장의 다른 설비에서 이미 검증된 제어 모듈 및 HMI를 선택하면 공통된 플랫폼을 만들기가 훨씬 간편하다.

수많은 작업과 시간의 가상화

1년 365일 운영되는 설비에서 그 제조 프로세스 뇌관을 교체하려면 우선 신중한 계획이 필요하다. 시스템 디자인은 2단계로 완성됐다. 제1단계는 프로그래밍 표준 개발 작업으로, 자체 유지보수팀과 로크웰오토메이션 글로벌 솔루션팀 엔지니어들이 진행했다. 이 단계가 완료되자 로크웰오토메이션은 문서 및 기능 사양서와 설계 사양서를 작성했다. 그 다음에는 프로그래밍 코드를 구축해 시험 및 검증했다.

개발 단계에서 로크웰오토메이션은 클리블랜드에 있는 자체 설비에 복제 시스템을 만들어 두고, 시스템을 가동하기에 앞서 문제점을 해결하고 프로그램을 최종 마무리했다. 사실 우리는 문제가 발생하거나 시스템을 업그레이드해야 할 경우 로크웰 기술 지원 엔지니어들에게 지원을 요청하기 위해 이 서비스 계약을 유지했었다.

제2단계에서는 새로운 프로그래밍 표준을 적용해 기능 사양을 업데이트했다. 기존의 라인 문서를 이용함으로써 프로젝트 위험도를 감소시킬 수 있었다. 또한, 플랜트 엔지니어링, 품질, 인증 팀원들이 이미 해당 문서를 잘 알고 있었기 때문에 새로운 시스템으로 전환하는 과정이 용이했다. 그러므로 시스템의 시험 및 인증 작업이 대단히 효율적이었다.

로크웰오토메이션과 함께 몇 차례 검토를 거친 후 우리는 사양서를 최종 마무리했으며, 로크웰오토메이션팀은 사양서를 바탕으로 구축 내용을 프로그래밍했다.

로컬 시스템 통합자와 로크웰오토메이션 파트너인 스톤테크놀로지(Stone Techno

logies)의 지원을 받아 공장인수시험(FAT)은 시설 내에서 진행했다. FAT는 4개월이 소요됐으며, 성분 제조에 사용하는 화학약품을 첨가하기 전에 모든 시스템 컴포넌트가 제대로 작동하는지 확인하기 위해 워터배칭(Water Batching)을 사용했다. 시험이 성공적으로 완료된 후 로크웰오토메이션과 스톤테크놀로지 엔지니어들은 현장에서 시스템 가동을 시작했다.

우리는 공장 자산을 최대한 활용하기 위해 기존 VMware 가상화 인프라에 새로운 제어 시스템을 구축했다. VMware는 시스템의 보안을 향상시켜 엄청난 이익을 창출한다.

현재는 빌딩 2개동에 각 1개씩 동일한 물리적 서버 랙이 있어 시스템 업타임을 현저하게 증가시킨다. 서버 랙을 별도의 빌딩에 설치함으로써 한 빌딩에 재해적 오류가 발생하더라도 전체 시스템이 차단되지 않도록 방지할 수 있다.

가상화를 통해서 정보의 섬들을 통합할 수 있다. 데이터 센터에서 시스템 고장이 발생하는 경우 생산 손실이나 다운타임 없이 시스템을 실행할 백업을 사용하는 것이다. 또한, 이를 사용해 유지보수를 위해 정전시 백업을 실행함으로써 생산라인을 계속 가동할 수 있다.

가상화를 통해 고장 발생부터 시스템을 복구해 라인을 다시 가동할 때까지 소요되는 시간은 최소 8시간에서 최대 24시간까지 단축할 것으로 추정된다. 빌딩 3동이 연결돼 있고, 그중 1동은 다른 모든 빌딩에 대한 주 전력 공급원 역할을 하는 가운데, 가상화는 빠른 재해 복구 옵션을 제공하며 재해적 다운타임을 방지해 준다.

공통 플랫폼으로 보고서 기능 향상

유지보수 및 제어 엔지니어들이 제어 시스템 업그레이드의 이점을 알아차리기까지는 며칠이 채 걸리지 않았다. 제어 및 정보를 위한 공통 플랫폼을 설치함으로써 다운타임을 개선하고 비용이 높은 대응적 유지보수에서 예방적 유지보수로 변경할 수 있었다. 기존의 노후화된 기술을 사용해서는 불가능했던 변화였다.

유지보수팀에 대해 우리는 프로젝트가 성공한 것으로 간주한다. 하지만 조직으로써 우리가 누리고 있는 이익은 유지보수 부서를 넘어선다. 현재 환경적 신뢰성 및 안전(EH&S), 생산, 현장, 리더십팀은 PlantPAx 프로세스 히스토리언을 통해 지속적인 프로세스 데이터를 사용할 수 있어 규제 기록 요구사항을 충족시키고 운용을 향상시킬 수 있다.

FactoryTalk Historian 소프트웨어의 데이터는 엑셀 스프레드시트 프로그램만 있으면 시설 내에서 누구라도 접근할 수 있으며, 공장 내 모든 건물에서 분석할 수 있다. EH&S 담당 직원들은 이를 이용해 환경 위해성 화학물질을 방출하지 않는다는 사실을 증명하는 데 필요한 데이터를 분석할 수 있다.

엔지니어 및 빌딩 관리자들은 일일 생산 보고서에서 며칠간 완료된 배치(Batch) 관련 프로세스 데이터를 얻을 수 있으며, 이는 전체적인 생산 간소화에 도움이 된다. 운영자들은 HMI에 생산 데이터를 입력하고 규정 보고에 필요한 전자 배치 기록을 생성한다. 이런 기능을 사용하면 육필로 보고서를 작성하는 과정에서 발생할 수 있는 인적 오류의 위험을 줄일 수 있다.

마지막으로, 운영자들은 언제라도 작업 현장에서 트렌드를 불러올 수 있어 문제 해결에 도움이 된다. 배치 기록을 통해 탱크 수위, 온도, 기타 잠재적 가능성을 파악해 간소화하는데 필요한 데이터 등 프로세스 트렌드를 추적할 수 있다. 생산 과정에 불순물 함량이 높아지는 시간대를 파악하면 문제점을 재빨리 제거하고, 폐기물 및 품질 영향을 최소화할 수 있다. 기존 일일 생산 보고서에서도 문제점을 파악했으나, 문제가 발생한 후에야 가능했다. 반면, 지금은 잠재적 문제점을 미리 파악하고 더욱 신속하게 대응함으로써 정상적인 상태에서 품질을 유지할 수 있다.

지속적인 개선

때로는 제조설비를 개선하는 데 수많은 노력이 필요한 경우도 있다. 예를 들어, 우리처럼 140년의 역사를 가진 기업의 경우가 그렇다. 로크웰오토메이션이 업그레이드 문제로 처음 우리와 접촉했을 때 담당팀을 생명과학 분야의 고객을 상대하는 엔지니어로 구성하고 있었다. 제약 환경을 잘 이해하는 전문팀을 두게 되자 우리의 의사결정팀은 확신을 얻었으며, 엔지니어들은 문제를 최소화하면서 촉박한 일정을 맞춰낼 수 있었다.

업그레이드 이후 며칠 이내에 PlantPAx 시스템은 다운타임을 개선했으며, 적극적인 예방적 유지보수 활동이 가능해졌다. 유지보수 문제로 제어 시스템과 보고 기능을 업그레이드한 것이지만, 전체적인 운영 결과 데이터 및 운영 체제의 향상과 관련된 이익이 현저하게 증가했다.

현재 우리는 모든 엔지니어링 부서에 맞는 툴을 구축할 수 있으며, 모든 엔지니어의 역량을 배가시키는 제어 시스템 인프라를 확보하고 있다. 마음의 평화를 찾고 편안한 밤을 보내는 것은 물론이다. 그것은 값을 매길 수 없는 가치다.

FA Journal 편집국 (fa@infothe.com)