Side Project 8

ROS 2 & AI 로 끝내는 자율주행 로봇 개발 올인원

🎯 교육 내용실물 모바일 로봇 조립과 라즈베리파이5 기반 개발 환경 구성을 통해 로봇 하드웨어·소프트웨어 기초 이해ROS 2의 Package, Node, Launch, Topic, Service, Action, 디버깅 도구를 실습하며 로봇 소프트웨어 개발 구조 학습Encoder, IMU, Odometry, LiDAR, Camera 등 다양한 센서를 활용해 위치 추정, 장애물 회피, 추종, 인식 기능 구현 경험SLAM Toolbox, AMCL, Nav2, Costmap, Path Planning, 파라미터 튜닝을 학습하며 자율주행 로봇의 맵 생성·위치추정·경로계획 과정 이해라즈베리파이5와 Docker 환경에서 YOLO 기반 객체 탐지·분할·자세 추정과 LLM·VLM·LMM 활용 프로젝트를 수행하며 지능형..

스마트 가전 서비스로 끝내는 5가지 멀티모달 AI 프로덕트 개발

🎯 교육 내용스마트 홈·가전 서비스 구현을 목표로, GPT-4 Vision·CLIP·Vector DB·LangChain·Multimodal LLM 등 멀티모달 AI 핵심 기술의 실전 활용 방법 학습영상 이상 탐지, 객체 탐지, 이미지 캡셔닝, 분할, 추적, 인페인팅, 텍스트 기반 이미지 생성 등 컴퓨터 비전 기반 기능 구현 경험모달 간 정보 결합과 프롬프트 엔지니어링, 검색·메모리·에이전트 설계를 통해 Vision-Language 기반 서비스 구조 이해스마트 방범 시스템, 홈 어시스턴트 로봇, 스마트 냉장고, AI 사진 편집기, 반려동물 지킴이 등 5개 멀티모달 AI 프로젝트 중심으로 학습웹 데모·백엔드·추천·알림·요약 기능까지 포함한 프로젝트 실습을 통해 실제 서비스 형태의 AI 프로덕트 개발 과정 ..

[최종 프로젝트] ROS2 기반 RGB-D 객체 탐지 VLM 서비스 로봇

https://youtu.be/2mRpJeysa7Y 이번 프로젝트에서는 장면이해, 자율주행, 상황인식, 언어 명령 이해를 하나로 묶은 멀티모달 서비스 로봇 시스템을 구현했다.단순히 “목표 지점까지 이동하는 로봇”이 아니라, 사용자의 자연어 명령을 이해하고, 객체 탐지를 통해 위험성을 판단하면서 집 안을 이동한 뒤, 카메라로 주변을 확인하고, 그 결과를 다시 사용자에게 전달할 수 있는 형태를 목표로 했다.예를 들면 이런 식이다.“엔드포인트로 가서 뭐가 보이는지 알려줘”“현관으로 가서 문이 닫혀 있는지 확인해줘”“집으로 다시 돌아와”이런 요청을 로봇이 받아서,어디로 이동해야 하는지 결정하고,실제로 자율주행을 수행하고,도착 후 현재 장면을 인식하고,결과를 텍스트로 보고하는 흐름이다.겉으로 보기에는 단순한 서..

멀티모달 인공지능의 이해와 학습

🎯 교육 내용멀티모달 AI의 큰 그림: 정의, 핵심 과제, 발전 흐름(기초 개요)서로 다른 모달리티(텍스트·이미지·오디오·비디오)를 다루는 데이터 표현(Representation) 개념모달 간 의미를 맞추는 정렬(Alignment) 개념과 주요 접근(Cross-modal Alignment)정보를 결합해 추론하는 융합(Fusion) 전략과 설계 관점개별 모달리티 처리 기본 아키텍처 이해(이미지(CNN), 텍스트(RNN) 등)현대적 멀티모달 사전학습(Pretraining) 흐름 및 핵심 기법(Contrastive Learning 포함)멀티모달 대규모 언어 모델(M-LLMs)·파운데이션 모델의 기본 구조, 학습 방식, 응용 방향 이해📄 수료증

ROS 2 디버깅

# LoggerLogger는 “노드가 어떤 판단을 했는지”를 텍스트로 남깁니다. GUI가 강력하긴 하지만, 원인 추적의 시작점은 로그가 더 빠른 경우가 많습니다.로그 레벨은 보통 아래처럼 쓰입니다.DEBUG: 개발 단계의 상세 상태(자주 찍힘)INFO: 정상 흐름에서 주요 이벤트WARN: 이상 징후(치명적이진 않음)ERROR: 실패/예외 상황FATAL: 계속 진행하기 어려운 실패 패키지 생성 간단한 Python 노드를 만들어 로깅 동작을 바로 확인할 때무엇을 확인해야 하는지: rclpy 의존성이 포함되었는지 ros2 pkg create --build-type ament_python logger_test --dependencies rclpy--build-type ament_python: Python 패키..

모바일 로봇 구동 방식

0. 왜 구동 방식부터 잡고 가야 할까?모바일 로봇은 겉보기엔 단순합니다. 속도 값을 넣으면 움직이니까요.그런데 조금만 깊게 들어가면, 같은 속도 명령이더라도 섀시 구조에 따라 “해석”이 완전히 달라집니다.어떤 로봇은 조향각이 먼저 정해지고 추진력이 따라옵니다.어떤 로봇은 바퀴 네 개를 조합해서 옆으로도 움직입니다.어떤 로봇은 회전할 때 미끄러짐을 피하려고 설계되고,어떤 로봇은 회전할 때 미끄러짐이 어느 정도 전제인 구조도 있습니다.그래서 이 챕터에서는 “구동 방식별로 속도가 어떻게 바퀴/서보로 변환되는지”를 한 번에 정리해둡니다.이걸 알고 있으면, 나중에 주행이 이상해질 때도 어디를 먼저 확인할지 감이 생길 가능성이 큽니다.1. 큰 그림: 결국은 “목표 속도 → 액추에이터 명령” 변환입니다상위(키보드/..

MentorPi 개발 환경 구성하기

— 원격 접속, 네트워크, 라즈베리파이/확장보드, Docker까지 한 번에 정리해봅니다 로봇 개발은 “코드만 잘 짜면 되는 문제”처럼 보이지만, 실제로는 환경이 절반 이상을 차지하는 경우가 많습니다.특히 ROS 2처럼 의존성이 많은 생태계에서는 다음 상황을 정말 자주 마주치게 됩니다.같은 코드를 돌렸는데 결과가 다르다하루 전에 되던 게 오늘은 안 된다버전 충돌(OpenCV/PCL/ROS2/Gazebo)로 설치가 꼬인다그래서 이 글에서는 MentorPi를 재현 가능한 개발 환경으로 만드는 과정을 정리합니다.이걸 해두면, 나중에 SLAM/Navigation/비전 파트에서 문제가 생겨도 “환경 문제인지, 코드 문제인지”를 분리해서 추적하기 쉬워질 것 같습니다.1. VNC ViewerVNC(Viewer)는 원격..