본문 바로가기

Machine Learning

 (9)
[Review] RESTAD : REconstruction and Similarity based Transformer for Anomaly Detection Ghorbani, R., Reinders, M. J. T., & Tax, D. M. J. (2024). RESTAD: REconstruction and Similarity based Transformer for time series Anomaly Detection. Manuscript under review. arXiv:2405.07509. 최신 논문 중 나랑 비슷한 고민 중인 논문을 발견해서, 간단히 모델 변경 없이 Transformer 모델에 적용해 볼 수 있을 것 같아 리뷰해보기로 하였다! 논문도 짧고 이런 방법론 너무 재밌자나💫😫 이 방법이 도움이 될지는 사용해봐야 알겠지만,, Contents1)Introduction    -Limitations of Previous Research    -A..
[Review] TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data Tuli, S., Casale, G., & Jennings, N. R. (2022). TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data. Proceedings of the VLDB Endowment, 15(8), 2277-2287. 이상 탐지 모델 중 마음에 들어서 사용해 보았던 모델을 리뷰해보려 한다!마음에 들었지만... 이젠 떠나 보내줄게..🥲 Contents 1)Introduction-Limitations of Previous Research-Transformer2)Model-TranAD①Encoder②Decoder③Loss Function④Anomaly Score3)Experimental..
[Review] LSTM Fully Convolutional Networks for Time Series Classification * Karim, F., Majumdar, S., Darabi, H., & Chen, S. (2018). LSTM Fully Convolutional Networks for Time Series Classification. IEEE Access, 6, 1662-1669.LSTM Fully Convolutional Networks for Time Series Classification 논문을 리뷰하면서 부족한 이론을 추가 정리하려고 한다.😂 https://ieeexplore.ieee.org/document/8141873Contents1)Introduction-Limitations of Previous Research-Purpose of Study2)Model-   Proposed Model-   Metho..
RSNA 2023 Abdominal Trauma Detection(1) -base line 입문 1.데이터 분석 (1)train.csv :훈련데이터 csv파일 :환자 id 와 환자의 장기별 손상 지표가 들어있음. :총 3147개의 환자 id. :14개의 의료 상 지표. train_csv = pd.read_csv("/kaggle/input/rsna-2023-abdominal-trauma-detection/train.csv") print(train_csv.shape) train_csv.head() bowel_healthy, bowel_injury: 장기 손상 여부를 나타내는 열로, 이진(binary) 값(0 또는 1)으로 표시됩니다. "bowel_healthy"는 장기가 건강한 상태일 때 1, "bowel_injury"는 장기에 손상이 있을 때 1입니다. extravasation_healthy, ext..
kaggle 입문 -Digit Recognizer 구글 부트캠프 팀원들과 kaggle 입문을 하기위해 Getting Started Prediction Competition인 Digit Recognizer[Learn computer vision fundamentals with the famous MNIST data]을 각자 풀어보고 리뷰하기로 하였다. intro 이미지 분류 문제임을 확인 할 수 있다. 대회 소개: 이 대회는 컴퓨터 비전(Computer Vision)에 적용되는 기술에 대한 소개를 위한 이상적인 대회로, R 또는 Python 및 기계 학습 기초에 어느 정도 경험이 있지만 컴퓨터 비전에는 새로운 분야인 개발자를 위한 것입니다. 이 대회는 사전 추출된 특징을 포함한 고전적인 데이터셋을 사용하여 신경망(Neural Networks)과 같은 기술..
위성 이미지 건물 영역 분할 AI 경진대회 - (4) - 모델 구축 및 실험관리 이 프로젝트를 하면서 정말 많은 backbone과 model들을 써보며 실험했고 최상의 모델을 찾기 위해 노력했었다! 그 과정이 재밌기도했고 처음 접하는 backbone들도 많았어서 실험내용을 기록하고 이론적인 부분을 더 공부하고자한다😏🤤 실험관리 model backbone depth augmentation dice score(leader board) Unet resnet 50 2번 0.5751065275 PSP densnet 161 2번 0.6210865892 deeplabV3Plus mobilenetV3large 100 1번 0.5109556055 Unet resnet 50 1번 0.5436697873 deeplabV3Plus efficientb5 528 1번 0.5166904565 deeplabV3..
위성 이미지 건물 영역 분할 AI 경진대회 - (3) - Hyperparameter,Regularization ,Loss Function 하이퍼파라미터 튜닝을 하면서 여러 방법들을 공부해보고 사용해보고 코드로 구현해볼 수 있는 시간이었다. 너무 다방면하게 하이퍼파라미터 튜닝 test에 집중하고 최적의 결과를 찾다보니 중간 기록과 정리는 조금 미흡하지만, 다음엔 더 잘하면 되니까!! 🤣🤗 하이퍼파라미터 튜닝하이퍼파라미터 튜닝은 머신 러닝 모델을 학습할 때 사용되는 하이퍼파라미터들을 최적화하는 과정을 말한다. 하이퍼파라미터는 모델의 구조나 학습 과정에 영향을 주는 파라미터로, 보통 사용자가 직접 지정해야 하는 값들이다.  일반적으로 학습률, 배치 크기, 에포크 수, 가중치 초기화 방법, L1 또는 L2 규제의 강도, 드롭아웃 확률 등이 하이퍼파라미터에 해당한다. 이러한 하이퍼파라미터들은 모델의 학습에 직접적인 영향을 미치며, 적절한 값을 ..
위성 이미지 건물 영역 분할 AI 경진대회 - (2) - EDA & Preprocessing 이번 대회에서 EDA라는 개념에 처음 깊게 들어가보았는데 EDA부분에서는 부족한 점이 많아서 조금 아쉽다🤐😪 분할 모델같은 경우는 기본적으로 데이터 자체에 대한 해석이 중요한 것같다. 다음엔 더 많은 EDA기법들을 다 써봐야겠다. 그래도 첫 대회였으니까!!😛 EDA란? EDA(Exploratory Data Analysis, 탐색적 데이터 분석)는 벨연구소의 수학자 ‘존 튜키’가 개발한 데이터분석 과정에 대한 개념으로, 데이터를 분석하고 결과를 내는 과정에 있어서 지속적으로 해당 데이터에 대한 ‘탐색과 이해’를 기본으로 가져야 한다는 것을 의미한다. 이번 대회에서는 EDA를 통해 과 문제에 대한 이해를 높이고, train 데이터와 test데이터의 차이를 극복하기 위한 전략을 구성하는 것이 중요하며, 모델 ..

티스토리툴바