MS, IBM, 아마존 머신러닝 서비스에 대해 소개합니다!~
안녕하세요 🙂
IT업계의 최고를 향해 도전하는 아이티유 인사드립니다!
여름의 절정인 7월 8월도 안왔는데 벌써부터 기온이 30도를 찍고 있는데요
이럴때일수록 아무것도 하기 싫은 여러분들을 위해 ! ! !
아이티유가 이해하기 쉽게 요즘 이슈가되는 서비스들을 소개하려고 합니다.
MS, IBM, 아마존 머신러닝 서비스는 어떤건가요?
“세기의 대결”이라고 불리웠던 알파고와 이세돌 프로의 바둑대전 이후 인공지능, 머신러닝 분야가
우리 생활에 아주 가까이 다가왔다는걸 알 수 있는데요!
알파고 대전이후로 우후죽순 격으로 곧 인공지능으로 대체될 직업의 예상리스트가 기사화되는 등 인공지능과
머신러닝에 대해 세계인들의 많은 관심을 불러 일으키며, 공상 과학영화에서나 나올법한 내용들이
이제 저희 눈앞에 현실화되어 다가오고 있습니다.
여기서 잠깐! 인공지능과 머신러닝에 대한 대표적인 영화의 예로는
<엑스마키나> , <마이너리티 리포트>를 들 수 있습니다. (친절한 참고 안내^_^)
IT 공룡기업이라고 불리우는 Microsoft, IBM, 아마존 등의 기업이 앞다투어
머신러닝(Machine Learning) 서비스를 출시하여 제공하고 있는데요,
오늘은 이들 업체의 머신러닝 서비스에 대하여 특징들을 소개해보도록 하겠습니다!
먼저, 인공지능과 머신러닝이란 무엇일까?
인공지능이란, 인간이 생각하고 판단하고 행동하듯이 컴퓨터를 대표로 하는 기계가 학습하고 모방하여
행동하도록 하는 방법을 연구하는 분야라고 할 수 있겠습니다.
참조 : [네이버 지식백과] 인공지능 [artificial intelligence, 人工知能] (두산백과) ← 자세한용은 클릭!
머신러닝은 기계학습이라고 번역할 수 있는데요!
예측이나 의사결정이 필요한 업무분야의 기경험 데이터를 컴퓨터에게 분석하도록 하고, 적합한 알고리즘을
적용한 예측모델을 만들어내는 과정을 학습이라고 부르며 이러한 훈련과정에서 실제 입력한 데이터를
통해정확한 예측과 의사결정을 이끌어내는 것이라 할 수 있겠습니다.
참조 : [네이버 지식백과] 머신 러닝 [Machine Learning] (두산백과) ← 자세한용은 클릭!
다시 본론으로 돌아가서…
Microsoft, IBM, 아마존 이 3개 기업에서 제공하는 머신러닝 서비스의 공통점은 “클라우드” 서비스의
한 종류로써 제공하고 있다는 점이며, 클라우드 서비스의 종류인 IaaS(Infrastructure as a Service),
PaaS(Platform as a Service), SaaS(Software as a Service) 가운데 소프트웨어 서비스의 한 축으로
머신러닝을 제공하고 있다는 점입니다.
또한, 툴로써 제공하며 적합한 것으로 평가된 알고리즘 모델을 클라우드 서비스 API로 제공하여 타시스템에서
호출할 수 있다는 점인데요.. 차이점이라고 하면 서비스의 넓이와 깊이가 다르다고 할까요?
보다 자세한 내용은 각 서비스를 살펴보면서 이야기하도록 하겠습니다 🙂 🙂
1. Microsoft Azure
https://azure.microsoft.com/ko-kr/services/machine-learning/
마이크로소프트는 애저 홈페이지에서 머신러닝을 “Cortana Intelligence Suite의 일부로 포함되는 강력한
클라우드 기반 분석”라고 말하고 있으며, “예측 분석 솔루션을 쉽게 빌드, 배포 및 공유할 수 있도록 하는
완전 관리형 클라우드 서비스입니다.” 라고 소개가 되고 있습니다.
<Cortana Intelligence Suite 개념도>(출처 : 마이크로소프트)
코타나 인텔리젼스 스위트는 많은 데이터를 의미있고 지능적인 실행으로 만들어주는
일련의 과정과 기술을 의미합니다. 데이터를 취합하고, 준비하며 빅데이터 분석이 가능한 저장소에 데이터를
저장하도록 하여 실시간으로 강력한 기계학습 알고리즘을 수행, 하둡 기반의 고급 분석기법을 적용하여
그 결과를 대시보드나 시각화 툴(Power BI)로 표시할 수 있습니다.
마지막으로는! 테스트한 모델을 API로 생성하여 실서비스에 이용할 수 있도록 애저 서비스로
등록할 수 있는데요 이 과정을 Cortana Analytics Process(CAP) 라고 하는데, 상세한 절차도는
아래 그림을 참고해주세요^^ (친절)
(출처 : 마이크로소프트)
이 일련의 프로세스를 진행할 수 있도록 툴을 제공하는 데 그것이 바로 애저 머신러닝 스튜디오입니다!
(출처 : 마이크로소프트)
이 애저 머신러닝 스튜디오에서는 데이터세트를 불러오고, 다이어그램을 통해서 다양한 실험 트레이닝 모델을
적용해 볼 수 있도록 상당히 많은 모델이 이미 친절하게 준비가 되어있습니다.
이를 통해서 트레이닝한 모델에 대하여 평가결과를 확인할 수 있고, 적합한 모델을 적용한 API를 서비스로
등록도 가능합니다!
마이크로소프트 애저 머신러닝은 선택할 수 있는 모델이 많고, R이나 파이썬 기반의 모델을 추가하여
사용할 수도 있다고 하는데..
이런 측면을 고려할 때, 애저 머신러닝은 전문가에게 보다 적합한 서비스라고 생각되네요!
2.IBM Watson
http://www.ibm.com/cloud-computing/bluemix/watson/kr-ko/
http://www-03.ibm.com/software/products/ko/watson-analytics
https://watson.analytics.ibmcloud.com/product
IBM의 머신러닝은 클라우드 서비스인 Bluemix 안에 포함되어 있는 Watson 서비스가 있고,
소프트웨어로 제공되는 Watson Analytics으로 나뉘어진다고 볼 수 있습니다.
먼저! Bluemix의 Watson 서비스를 간략히 살펴보면,
(출처 : IBM Watson)
위 그림에서 볼 수 있듯이 이미 만들어진 19개의 서비스가 있고, 이 서비스는 REST API를 제공하고 있으며
각 API를 사용하기 위해 API 키를 발급받아야 합니다.
각 서비스에 대한 IBM 소개내용을 발췌하면 아래 내용과 같습니다.
Dialog – IBM Watson Dialog Service를 사용하면 애플리케이션이 대화형 인터페이스를 통해 일반 사용자와
상호작용하는 방식으로 개발자가 디자인을 수행할 수 있으며,
Dialog 서비스를 사용하면 애플리케이션이 자연어를 사용하여 자동으로 사용자의 질문에 응답하고
교차 판매, 연쇄 판매를 수행하고 사용자에게 프로세스 또는 애플리케이션을 단계별로 보여줄 수 있습니다.
심지어 핸드 홀드 사용자가 어려운 태스크를 수행할 수도 있습니다.
Dialog 서비스는 사용자 프로파일 정보를 수집하고 저장하여 일반 사용자를 더 잘 파악하여 사용자의 고유한
상황을 기반으로 하여 프로세스를 단계별로 안내하거나 사용자의 정보를 백엔드 시스템에 전달하여 사용자가
조치를 취하거나 필요한 도움을 얻을 수 있도록 지원합니다.
Document Conversion – HTML, PDF 또는 Microsoft Word™ 문서를
기타 Watson 서비스에 사용할 수 있는 정규화된 HTML, 일반 텍스트 또는 JSON 형식의 응답 단위 세트로
변환합니다.
Natural Language Classifier – 인지 컴퓨팅 기술을 적용하여 문장 또는 구문에 대해 일치하는
최선의 클래스를 리턴합니다.
예를 들어, 질문을 제출하면 서비스는 가장 일치하는 답변 또는 애플리케이션을 위한
다음 조치에 대한 키를 리턴합니다.
연계하는 동안 각 분류자에 대한 하나 이상의 올바른 클래스 세트 및 대표 문자열 세트를 제공하여
분류자 인스턴스를 작성합니다.
연계 후, 새 분류자는 새 질문 또는 구문을 허용하고 각 일치에 대한 확률 값과 함께
가장 일치하는 결과를 리턴합니다.
Language Translation – 뉴스, 특허 또는 대화 문서를 동적으로 번역하시겠습니까?
다양한 언어로 컨텐츠를 바로 발행하시겠습니까?
또는 프랑스어를 사용하는 스태프들이 영어로 이메일을 즉시 발송할 수 있게 하시겠습니까?
Watson Language Translation – 서비스를 사용하면 이러한 모든 것이 가능합니다.
Watson 서비스를 사용자 코드에 연결하시면 다음 도메인/언어 쌍에서 강력한 서비스의 힘을
활용할 수 있습니다.
Concept Insights – 사용자가 제공하는 문서를 Wikipedia를 기반으로 하는 개념의 기존 그래프에
링크합니다.
(예: ‘The New York Times’, ‘Machine learning’ 등)
링크에는 두 가지 유형이 있습니다.
문서가 개념을 직접 언급하는 명시적 링크와, 개념을 직접 언급하지 않는 문서를
관련 개념에 연결하는 내재된 링크입니다.
이 서비스의 사용자는 또한 명시적 및 내재된 링크를 탐색하여 개념에 관련된 문서 또는 개념의 콜렉션을
사용할 수도 있습니다.
Personality Insights – 구입 의사결정, 의도 및 행동 특성을 판별하는 심리적인 특성을 식별하도록
트랜잭션 및 소셜 미디어 데이터에서 통찰을 유도하는데, 이는 변환 등급을 개선하도록 활용됩니다.
Retrieve and Rank – 검색 및 기계 학습 알고리즘을 조합하여 데이터에서 “signals”을 발견하도록
조회에 맞는 가장 적합한 정보를 찾을 수 있습니다.
Apache Solr에서 빌드되었으며 개발자가 데이터를 서비스에 로드하고 알려진 관련 결과에 따라 기계 학습
모델을 교육한 다음 이 모델을 이용하여 일반 사용자의 질문과 조회에 따라 향상된 결과를 제공합니다.
Tone Aanlyzer – 사람은 일상적인 커뮤니케이션에서 기쁨, 슬픔, 분노, 친화성과 같은 다양한 어조를
보입니다. 이러한 어조는 다양한 문맥에서 커뮤니케이션의 효율성에 영향을 미칠 수 있습니다.
Tone Analyzer는 인지적 언어 분석을 활용하여 문장 레벨과 문서 레벨에서 다양한 어조를 식별 후
이 결과를 분석하여 커뮤니케이션을 다듬고 개선합니다.
Tone Aanlyzer는 텍스트에서 감정(분노, 혐오, 두려움, 기쁨, 슬픔),
사회적 성향(개방성, 성실성, 외향성, 친화성, 감정 범위), 언어 스타일(분석적, 자신감이 있음, 망설임)과 같은
세 가지 유형의 어조를 발견합니다.
음성-문자 변환 – 사람의 목소리를 문자로 변환합니다.
이 서비스는 임베디드 시스템의 음성 제어, 미팅과 컨퍼런스 콜의 기록 및 이메일과 메모의 받아쓰기를
포함하여 말하는 단어와 기록하는 양식 간의 차이를 해소해야 하는 모든 곳에서 사용할 수 있습니다.
쉽게 사용할 수 있는 이 서비스는 정확한 기록을 생성하기 위해 문법 및 언어 구조에 대한 정보와 오디오 신호의
컴포지션 지식을 결합하는 데 기계 정보를 사용합니다.
현재 다음 언어 및 기능을 사용할 수 있습니다.
문자-음성 변환 – 문자와 자연어를 처리하여 적절한 카덴스와 억양으로 채워진 합성 오디오 출력을 생성하며,
여러 음성으로 사용 가능합니다.
Visual Insights – 관심 , 활동, 취미, 생활 이벤트 및 제품과 관련된 소비자 통찰력을 추출하는 사진과
비디오를 분석하여 고객 뷰 를 향상시킵니다.
Visual Recognition – 시각적 컨텐츠에서 의미를 찾습니다. 태그 디스크립터를 작성하고 시각적 컨텐츠
내에서 얼굴, 텍스트 및 기타 정보를 찾습니다.
제공되는 모델을 사용하거나 사용자 고유의 클래스류를 훈련시킬 수 있습니다.
특정 장면을 이해하기 위해 이미지나 비디오 프레임의 시각적 컨텐츠를 분석하는
스마트 애플리케이션을 개발합니다.
Tradeoff Analytics – 선택 시 여러 충돌하는 목표를 고려하여 더 나은 선택을 할 수 있습니다.
이 서비스는 이용할 담보 대출과 같은 복잡한 의사결정을 내리거나 구입할 랩탑과 같이 보다 일상적인 결정을
내리는 데 사용할 수 있습니다.
Tradeoff Analytics에서는 여러 기준에 대해 최적의 대안을 식별하기 위해 파레토 필터링 기술을 사용합니다.
그런 다음 분석적이고 시각적인 다양한 방법을 사용>하여 결정자가 최적의 대안 세트 중에서 트래이드 오프를
검색할 수 있도록 지원합니다. 그러면 선택 옵션이 결정자에게 중요한 목표와 기준에 맞게 유지됩니다.
AlchemyAPI – 웹 페이지, 뉴스 기사 , 블로그의 텍스트 내용과 문맥을 이해하고 응용 프로그램을 구축하는
기업과 개발자들이 사용할 수 있도록 서비스 세트를 제공합니다.
예를 들어, AlchemyAPI 를 사용하여 , 개발자는 공개적으로 접근 가능한 웹 페이지에 언급된
사람, 장소, 기업 및 기타 요소를 추출하는 등의 작업을 수행 할 수 있습니다.
HTML/텍스트 문서 , 또는 뉴스 기사의 미리 정의된 코퍼스를 기록합니다.
IBM의 소개내용과 같이 Bluemix의 Watson은 주로 언어, 글, 이미지, 동영상 등을 자동 인식하고 분석하여
사용자가 원하는 결과를 만들어내는 영역에 포커싱이 되어 있고, 그 영역에 맞는 머신러닝 모델과
서비스가 미리 준비되어 있는 것으로 보입니다.
다음으로, Watson Analytics를 살펴보면, Watson Analytics는 별도의 웹 애플리케이션으로 서비스가
되고 있으며, 평가판을 사용해볼 수 있었는데, 데이터만 준비되면 별도의 프로그래밍이나 학습
알고리즘 구현없이 데이터를 분석하고 그 다양한 결과를 쉽게 확인할 수 있습니다.
(출처 : IBM Watson)
화면에서 보는 것과 같이 Data, Discover, Display 3개의 큰 메뉴(?)가 존재합니다.
(출처 : IBM Watson)
먼저 데이터를 다양한 방법으로 불러올 수 있는데, 샘플 데이터를 사용해보았습니다!
데이터를 선택하면 Watson Analytics가 데이터를 분석하여 분석결과에 대한 뷰 포인트를 보여주는데요,
보기 원하는 뷰 포인트를 선택하면, 아래 화면과 같이 분석결과를 다양한 디스플레이 형식으로 보여줍니다.
물론, 항목을 조정하여 재분석 및 결과 확인이 가능하네요.
(출처 : IBM Watson)
Discover 메뉴를 선택하면, 역시 데이터를 선택하여 문제를 해결할 수 있는 인사이트를 찾아볼 수 있는
기능을 제공합니다.
(출처 : IBM Watson)
(출처 : IBM Watson)
Display 메뉴를 선택하면, 대시보드 등 다양한 형태의 분석결과를 편집할 수 있고, 공유할 수 있습니다.
샘플 데이터를 실제 살펴보니 스프레드시트 같은 화면으로 확인할 수 있으며, Watson Analytics가
각 데이터의 항목을 인식하여 분석을 하는 것으로 보여졌습니다.
(출처 : IBM Watson)
(출처 : IBM Watson)
IBM Watson을 한마디로 정리하라면, “준비된” 분석툴과 학습 알고리즘 모델을 통한 머신러닝 서비스를
손쉽게 활용할 수 있는 장점이 있는 것 같습니다!
3.Amazon Machine Learning
https://aws.amazon.com/ko/machine-learning/
Amazon Machine Learning은 Amazon Web Service중 하나의 서비스인데, 개발자를 위한 기계학습
서비스라고 표방하고 있습니다.
시각화 도구와 마법사를 사용하여 복잡한 기계학습 알고리즘과 기술을 배우지 않고도 기계학습 모델 생성
프로세스를 사용할 수 있다고 설명하고 있습니다.
제공하는 서비스를 이용하면, 코드를 구현하거나 어떤 인프라도 관리할 필요 없이 간단한 API를 사용하여
쉽게 애플리케이션을 예측할 수 있습니다.
Amazon Machine Learning의 특징을 살펴보면,
AWS 클라우드에 존재하는 데이터 소스를 손쉽게 활용할 수 있다는 점이며
다음으로, 분석하고자 하는 데이터에서 잘못된 데이터 속성을 발견하고 보정하기 위한 데이터세트 시각화
도구를 제공하여 탐색이 가능하도록 해줍니다.
( 출처 : Amazon Machine Learning )
모델 평가 및 해석 도구를 제공합니다.
이는 모델 행동과 결과를 시각화하여 모델의 성능을 쉽게 이해할 수 있어
모델에 대한 평가를 할 수 있다고 합니다!
( 출처 : Amazon Machine Learning )
또한, 모델링과 관리용 API를 제공하여 데이터 소스, 모델, 평가를 생성하고 검토하여 삭제할 수 있게
해준다는 부분과 바이너리 속성(바이너리 분류), 범주별 속성(다중 분류) 또는 수치 속성(회귀) 등
업계 표준 기계학습 알고리즘을 제공한다는 점 등 여러가지 특징을 가지고 있습니다.
이상으로 마이크로소프트, IBM, 아마존 3대 IT 기업의 클라우드 서비스 중 머신러닝 서비스의 특징에 대해서
간략히 살펴보았는데요~^^
이 3개 업체의 클라우드 머신러닝 서비스는 각기 서로 다른 특징이 있어서 비교 우위를 평가하기는
적절하지 않고, 머신러닝 서비스를 필요로하는 목적에 따라 선택하여 사용하는 것이 좋을 것으로 판단됩니다.
어렸을때 미술시간에 그려왔던 미래의 모습이 점차 우리곁으로 다가오고 있다는걸 느낀 시간이었습니다^^
빠르게 성장하고 있는 요즘 시대에 저희 아이티유도 보다 더 나은 생활을 위해 노력하고 또 노력하겠습니다!
일주일중 제일 애매한 수요일인 오늘도 모두 기운내서 화이팅 하시구요!!!!
어제 거하게 전체회식이 있었던 아이티유인들도 모두 화이팅합시다!! ㅎ_ㅎ
