인텔은 보다 많은 조직과 사람들이 매일 생산, 수집, 저장되는 막대한 양의 데이터, 이른바 ‘빅데이터’를 사용할 수 있도록 돕는 인텔 아파치 하둡 소프트웨어를 출시했다. 인텔 아파치 하둡 매니저를 포함한 이번 제품은 업계 선도적인 성능과 향상된 보안성을 제공하도록 인텔 반도체 제품군의 관련기술을 활용하여 설계되었다.

빅데이터 분석 및 이해 능력은 새로운 과학적 발견과 비즈니스 모델, 소비자 경험을 가능하게 함으로써 인간 사회를 변화시킬 수 있는 놀라운 잠재력을 가지고 있다. 그러나 현재의 기술과 테크닉이 지금과 같은 형태의 데이터들을 분석하기에는 융통성이 없거나, 구축비용이 많이 들기 때문에 현재 전체 정보 중 의미 도출이 가능한 부분은 일부분에 불과했다.

하둡은 다양하고 많은 양의 데이터를 확장 가능한 서버 클러스터에서 저장하고 처리하기 위한 오픈 소스 프레임워크로써 빅데이터 관리에 적합한 플랫폼으로 선호된다. 향후 수많은 센서와 지능형 시스템으로부터 보다 많은 정보가 생성될 것으로 예측되는 가운데, 이 프레임워크는 반드시 확장이 가능한 공개 플랫폼으로 유지되어야 하며, 엔터프라이즈급 성능, 보안 및 손쉬운 관리 능력에 대한 까다로운 요건을 충족시킬 수 있어야 한다.

인텔은 급속히 발전하고 있는 빅데이터 분석과 보조를 맞출 수 있는 아파치 하둡 상에 구축된 혁신적인 공개 플랫폼을 제공하고 있다. 인텔 배포판은 최초로 인텔 제온 프로세서에 인텔 AES-NI(Intel AES New Instructions)를 탑재해 전체 암호화가 가능하다. 하둡 분산 파일 시스템(Hadoop Distributed File System)의 실리콘 기반 암호화(silicon-based encryption) 지원을 통합하여 이제 조직들은 성능 저하 없이 안전하게 데이터 세트 분석을 할 수 있다.

또한 인텔 제온 프로세서 플랫폼에서 네트워킹과 IO 기술을 위한 최적화는 한층 높은 수준의 분석 성능을 제공한다. 이전에는 1테라바이트(terabyte)의 데이터 분석에 4시간 이상의 처리 시간이 소요된 반면, 현재 인텔의 하드웨어와 인텔 배포판의 조합으로는 7분 만에 가능하다. 인텔은 현재 매 11초마다 HD 비디오 13년의 양과 맞먹는 1페타바이트(PB)(1000 테라바이트(TB))의 데이터가 생산되고 있다고 추정하고 있으며, 이를 고려할 때 인텔의 기술은 보다 큰 가능성들을 제공할 수 있다.

인텔 아파치 하둡 매니저(Intel Manager for Apache Hadoop)는 새로운 응용프로그램 설치에 관심을 갖는 시스템 관리자들을 위해 클러스터의 구현, 구성 및 감시를 더욱 간소화시킨다. 지금까지는 이 작업을 위해 하둡 구성 및 성능 벤치마크와 함께 각 애플리케이션의 시스템 자원 이용에 대한 전문적인 이해가 요구됐지만, 아파치 하둡 소프트웨어를 위한 인텔 하둡 액티브 튜너(Intel Active Tuner for Hadoop)는 어림짐작으로 성능을 튜닝하지 않도록 최적 성능을 자동으로 구성한다. 하둡 소프트웨어는 인텔의 포괄적인 데이터센터 컴퓨팅, 네트워킹, 스토리지 및 인텔리전트 시스템 제품 포트폴리오를 확장시킨다. 최근에 소개된 인텔 인텔리전트 시스템 프레임워크(Intel Intelligent Systems Framework)는 인텔리전트 장치들의 연결성, 관리성 및 보안의 일관적이고 확장 가능한 방식으로 설계된 상호운용 솔루션 세트로, 디바이스로부터 데이터센터에 이르는 엔드투엔드 분석을 위해 중요한 정보를 수집, 분석 및 전달할 수 있는 기반을 마련한다.

▲ The software components of Intel® Distribution for Apache Hadoop* software provide a comprehensive big data solution