Skip to content

This repository is about Kubeflow for distributed processing && model compressing

Notifications You must be signed in to change notification settings

ESE-Lab/Kubeflow

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

58 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Kubeflow

Kubernetes Docker ML Tensorflow

kubeflow-logo

The Machine Learning Toolkit for Kubernetes

쿠버네티스(kubernetes) 아키텍처


☕ 개발 기술

Setting (눌러서 내용보기)
Coralboard (눌러서 내용보기)

Coral Dev Board란?

2019년 초에 구글에서 내놓은 Edge TPU가 장착된 Single-board Computer(SBC) 싱글보드 PC이다.

Edge TPU Module Tech Specs

Item Specifications
CPU NXP i.MX 8M SOC (quad Cortex-A53, Cortex-M4F)
GPU Integrated GC7000 Lite Graphics
ML accelerator Google Edge TPU coprocessor
RAM 1 GB LPDDR4
Flash memory 8 GB eMMC
Wireless Wi-Fi 2x2 MIMO (802.11b/g/n/ac 2.4/5GHz) Bluetooth 4.1
Dimensions 48mm x 40mm x 5mm

Baseboard Tech Specs

Item Specifications
Flash memory MicroSD slot
USB Type-C OTG Type-C power Type-A 3.0 host Micro-B serial console
LAN Gigabit Ethernet port
Audio 3.5mm audio jack (CTIA compliant) Digital PDM microphone (x2) 2.54mm 4-pin terminal for stereo speakers
Video HDMI 2.0a (full size) 39-pin FFC connector for MIPI-DSI display (4-lane) 24-pin FFC connector for MIPI-CSI2 camera (4-lane)
GPIO 3.3V power rail 40 - 255 ohms programmable impedance ~82 mA max current
Power 5V DC (USB Type-C)
Dimensions 88 mm x 60 mm x 24mm

DataSet & ML model (눌러서 내용보기)
*

🌼 DataSet

caltech101

Dataset link : https://bit.ly/2V1o5Lb

선택 이유

  • 이미지 분석 task에 적합함
  • 용량이 200MB 이내로 적당함
  • 공개되어 있는 데이터로 저작권 문제가 없음

MNIST를 선택하지 않은 이유

  • 이미지의 크기가 작아서 kubeflow를 통한 학습 성능 향삭을 체감하기 적합하지 않음
  • 식상하고 이미지가 너무 잘 정제되어 있어서 별다른 전처리 없이도 학습 성능이 매우 잘 나옴

다른 dataset 찾으려면

Google 'Dataset Search' 서비스를 이용하면 머신러닝에 사용될 수 있는 데이터셋을 쉽게 검색할 수 있음!
https://datasetsearch.research.google.com/

Pipeline (눌러서 내용보기)

Kubeflow pipeline?

컨테이너 기반의 end-to-end ML 워크플로우를 만들고 배포할 수 있는 쿠버네티스 플랫폼

컨테이너 기반으로 구성되어 있기 떄문에 확장성 및 재사용성이 좋다.

쿠버네티스의 자원을 관리하기 위해서 백엔드 프레임워크로 argo라는 워크플로우 툴을 사용할 예정

https://argoproj.github.io/

구성

  • 실험(Experiment), 잡(Job), 런(Run)을 추적하고 관리하는 유저 인터페이스
  • ML 워크플로우 단계별 스케쥴링 엔진
  • 파이프라인과 그 컴포넌트들을 생성하는 SDK
  • SDK와 연동하는 쥬피터 노트북

쉬운 파이프라인 구성 → 쉬운 파이프라인 생성 → 쉬운 재사용


Model Compressing (눌러서 내용보기)

설명


hi


About

This repository is about Kubeflow for distributed processing && model compressing

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published