AWS에서 SageMaker 머신러닝을 강화하다

AWS BEEFS UP SAGEMAKER MACHINE LEARNING

 

아마존 웹 서비스(Amazon Web Service)에서 SageMaker 머신러닝을 강화하다

 

 

Amazon SageMaker adds a data science studio, experiment tracking, production monitoring, and automated machine learning capabilities

 

아마존 SageMaker에 데이터 사이언스 스튜디오, 경험 트래킹, 생산 모니터링, 그리고 자동 머신러닝 기능을 추가하였다

 

 

By Scott Carey

---

Amazon Web Services has expanded the capabilities of its Amazon SageMaker machine learning toolkit to address a number of challenges that enterprises confront when trying to operationalize machine learning, from model organization, training, and optimization to monitoring the performance of models in production.

 

아마존 웹서비스에서 기업들이 머신러닝을 운영화 하려할때 생기는 문제점들을 다룰수 있도록 Amazon SageMaker의 생산 모델의 성능 모니터링을 위한 모델 구성부터 교육, 최적화 같은 기능들을 확장시켰다.

 

 

Launched at the Amazon’s re:invent conference in 2017, SageMaker aims to make machine learning adoption simpler for customers by bringing together a hosted environment for Jupyter notebooks with built-in model management, automated spin up of training environments using EC2 instances, and HTTPS endpoints for hosting capabilities with Amazon S3.

 

2017년 아마존의 re:invent 컨퍼런스에서 나온, SageMaker는 내장 모델의 관리가 되는 주피터 노트북을 위한 호스팅 환경,EC2 인스턴스를 사용한 교육환경의 자동 실행, 그리고 아마존 S3의 호스팅 기능을 위한 HTTPS 엔드포인트를 사용함으로 고객을 위해 머신러닝 채택과정을 간단화 하는것을 목표한다.

 

 

[ Also on InfoWorld: Deep learning review: Amazon SageMaker scales deep learning ]

 

 

As CEO Andy Jassy presents it, AWS—like rivals Google Cloud and Microsoft Azure—wants to become the leading, full-service environment for data scientists, data engineers, and non-specialist developers to run all of their machine learning workloads.

 

CEO Andy Jassy가 선보인데로 AWS(Google Cloud와 Microsoft Azure의 라이벌 같은)는 데이터 과학자, 데이터 엔지니어, 그리고 비전문가 개발자들의 모든 머신러닝 작업들을 실행할 수 있는 선구적이고 풀 서비스 환경이 되고 싶어 한다.

 

 

For AWS this means a triple-layered stack of services, starting with the basic building blocks used by experienced technical practitioners who want to be able to tweak every part of their modeling process, whether with TensorFlow, PyTorch, MXNet, or another machine learning framework. SageMaker promises to simplify key elements of the process, topped off with cognitive off-the-shelf services like Translate, Transcribe, image recognition, and voice recognition capabilities.

 

AWS한테는 TensorFlow,PyTorch, MXNet, 혹은 다른 머신러닝 프레임 워크에서 모델링 과정에서 모든부분을 건들 수 있는걸 원하는 기술 실무자들의 기초 요소들부터 시작하는 삼중 서비스 스택을 의미한다.

SageMaker는 번역, 베끼기, 이미지 인식, 그리고 목소리 인식 기능 같은 인지 상용 서비스를 통해 핵심 요소들을 단순화 하기를 약속하였다.

 

 

[ Also on InfoWorld: AI, machine learning, and deep learning: Everything you need to know ]

 

 

Introducing SageMaker Studio

 

 

Now Amazon is expanding this sandbox with what it calls SageMaker Studio, finally giving customers a fully integrated development environment (IDE) to store and collect all of the source code, notebooks, documentation, data sets, and project folders needed to run and manage machine learning models at enterprise scale, including collaboration capabilities.

 

이제는 아마존은 마침내 사용자들에게 모든 소스코드, 노트북, 문서들, 데이터셋, 그리고 협업 기능을 포함한 기업사이즈의 머신러닝 모델을 실행하고 관리하기 위해 필요한 프로젝트 폴더들을 보관하고 수집하는 완전한 IDE를 줄 수 있는 SageMaker Studio라 불리는 샌드박스를 확장하고 있다

 

 

Many of these capabilities can already be found within Microsoft’s Azure Machine Learning platform and Google Cloud’s AI Hub, while data science “workbench” offerings are also provided by the likes of Domino Data Lab and Dataiku.

 

대부분의 이 기능들은 Microsoft’s Azure Machine Learning 플랫폼과 Google Cloud’s AI Hub에서 찾을 수 있다. 또한 데이터 사이언스 "워크벤치"에서 요구하는 것들은 Domino Data Lab하고 Dataiku에서 제공 되고 있다.

 

 

[ Also on InfoWorld: The 6 best programming languages for AI development ]

 

 

SageMaker Experiments and Model Monitor

 

 

Among the new capabilities AWS has announced, let’s start with notebooks. AWS wants to simplify the provisioning of compute when spinning up a Jupyter notebook with one click, as well as automating the tricky process of transferring contents between notebooks.

 

AWS에서 발표한 새 기능들 중 에서 노트북부터 살펴보자.

AWS는 원 클릭을 주피터 노트북을 돌릴 때 계산의 프로비저닝하고 까다로운 노트북간의 전송 과정을 자동화 하는 것도 간단화 하고 싶어한다.

 

 

Next on the list of announcements was SageMaker Experiments, a new feature which allows developers to view and manage all of the different iterations of their models. It does this by collecting key metrics like input parameters, configuration, and output results so that users can compare and contrast the performance of multiple models, both new models and older experiments.

 

다음의 발표사항은 SageMaker Experments로 개발자들에게 그들의 모든 색다른 모델들을 보거나 관리하게 할수 있는 새로운 기능이다.

입력변수, 구성, 그리고 출력값 같은 핵심 요소들을 모으는 방식으로 하여 사용자가 다수의 모델(신 모델과 구 모델 모두)들의 성능을 비교하거나 대조할 수 있게한다.

 

 

Amazon has also added a native debugging tool, allowing users to debug and profile models during training, a process that has traditionally proved opaque. The debugger will flag when models are deviating from accuracy and performance indicators complete and offer remediation advice.

 

아마존은 또한 원래 보여지지 않는걸로 알려진 과정인 교육중의 디버그와 성능분석을 할수 있는 디버깅 툴을 추가하였다. 디버거는 모델들이 정확도와 성능 표시기로부터 크게 벗어날 때 플래그를 지정해주고 수정조언을 제공할 것이다.

 

 

Lastly Amazon also announced SageMaker Model Monitor, which helps customers better detect “concept drift,” where the data being used by a model in production starts to deviate from that used to train the model. With SageMaker Model Monitor, AWS customers will be alerted when deviations in the data may be occurring based on a baseline level they configure by feeding a sample of their data to SageMaker. Model Monitor will then inspect data and prediction quality on a set schedule, even providing per-feature metrics to Amazon CloudWatch.

 

마지막으로 아마존은 사용자가 생산 모델에 사용중인 데이터가 교육시키는 데이터와 벗어나기 시작하는 곳인 "컨셉 경향"을 더 쉽게 감지할 수 있도록 도와주는 SageMaker Model Monitor를 발표했다.

SageMaker Model Monitor와 함께라면, AWS 사용자들은 SageMaker한테 주어진 그들의 데이터 샘플들을 통해 만든 기준치에 기초했을때 데이터들의 편차가 만약에 발생할때 알 수 있을 것이다. 

Model Monitor가 그때는 데이터와 셋 스케쥴에 있는 예측 퀄리티를 조사할 것이고, 또한 아마존 클라우드 왓치에 기능별 요소들을 제공하기 조차 한다.

 

 

As Nick McQuire, vice president of enterprise research at CCS Insight said, “Customers are now doubling down on tackling data drift, black box AI, and requiring more tools to help them track model behavior in production. AWS has had to finally bring these areas into focus but in my view, they are a bit late to the party. Model explainability, bias detection, and performance monitoring have been glaring omissions in its strategy this year against Microsoft and Google in particular.”

 

CCS Insight 기업 연구 담당 부회장인 Nick McQuire가 말하길, "고객들은 이제 데이터 드리프트, 블랙박스 AI문제를 말하는것을 확실히 하고 생산 모델의 동향을 추적하는것을 도와줄 수 있는 더 많은 툴을 요구했다. AWS는 마침네 이 부분에 초점을 맞춰야 했다. 하지만 내가 보기엔, 그것들은 시기가 좀 늦었다. 모델 설명능력, 성향 감지, 그리고 성능 모니터링은 Microsoft와 Google에게 대항할 올해의 전략에서는 확연한 누락이었다."

 

 

[ Keep up with advances in machine learning, AI, and big data analytics with InfoWorld’s Machine Learning and Analytics Report newsletter ]

 

 

SageMaker Autopilot for automated machine learning

 

 

Amazon also announced some changes to its automated machine learning, or AutoML, offering (not to be confused with Google Cloud’s own AutoML product), which automates the selection, training, and optimization of machine learning models within Sagemaker for classification and linear regression models.

 

아마존은 분류와 선형회귀 모델을 위한 SageMaker에서 머신러닝 모델의 선택, 교육, 그리고 최적화를 자동하는 머신러닝(AutoML)에(Google Cloud의 AutoML 제품과 혼동하지 않길) 몇가지 변화를 발표했다

 

 

Jassy said that customers have asked for greater visibility into these models, and has responded with SageMaker Autopilot.

 

Jassy는 고객들이 이 모델들의 더 좋은 시각성을 요구했고, SageMaker Autopilot으로 대답을 했다고 말을 했다.

 

 

The rough end-to-end workflow with SageMaker Autopilot is that customers provide the CSV file or a link to the S3 location of data they want to build the model on, and SageMaker will then train up to 50 different models on that data and give customers access to each of these as notebooks and present them in the form of a leaderboard within SageMaker Studio. The entire process, from data cleaning and pre-processing to algorithm choice to instance and cluster size selection, is handled automatically.

 

SageMaker Autopilot의 대략적인 end-to-end 워크 플로우는 사용자가 CSV 파일이나 링크를 그들이 위에 모델을 만들고 싶은 데이터의 S3위치에 제공하고, 그리고 SageMaker가 그때 50개 이상의 다른 모델을 교육하고 사용자에게 각각의 노트북에 접근권을 준고 그리고 SageMaker Studio 내의 리더보드 형태로 보여준다.

이 데이터 클리닝과 전처리부터 알고리즘 선택, 인스턴스와 클러스터 크기 선택까지 모든 과정은 자동으로 조정된다.

 

 

“So when you open the notebook the recipe of that model is there, from the algorithm to the parameters, so you can evolve it if you want,” Jassy said during his re:Invent keynote today.

 

"그러므로 노트북을 열었을때 알고리즘부터 변수들까지 그 모델의 레시피가 있을것이다, 그래서 너가 원하는 데로 진화시킬 수 있다." 라고 오늘 Jassy가 그의 re:invent 요지에서 말하였다.

 

 

In theory this allows companies to level up their models as they go with AWS, starting with classification and regression algorithms, but giving them the ability to track, measure, and customize these as they accumulate more data and grow the data science and engineering skills in their business.

 

이론 상으로 AWS를 사용함으로 기업들에게 분류와 회귀 알고지즘부터 그들의 모델을 향상시킬수 있도록 하지만 그들이 더 많은 데이터를 축적하고 데이터 과학과 엔지니어링 기술을 증가시킴에 따라 이것들을 추적하고, 측정하고, 커스터마이즈 할수 있는 능력을 주게 된다.

 

 

SageMaker Studio is available immediately from the AWS US East (Ohio) region, while SageMaker Experiments and SageMaker Model Monitor are available immediately for all SageMaker customers.

 

SageMaker Studio는 US East(오하이오) 지역에선 바로 사용가능하다

SageMaker Experiments와 SageMaker Model Monitor들은 모든 SageMaker 사용자들이 바로 사용 가능하다.

 

 

This story, "AWS beefs up SageMaker machine learning" was originally published by InfoWorld.

 

---

 

기사 출처 : https://www.itnews.com/article/3487678/aws-beefs-up-sagemaker-machine-learning.html

 

 

 

===

 

처음으로 온전한 기사를 번역하는것도 모자라 전문적인 지식이 있는 상태로 번역한것도 아니라 상당히 오역이 많을 것 입니다.

애초에 개인 공부용으로 만든거니 차차 나아지겠죠.