분류 전체보기

[논문리뷰] Personalized LoRA for Human-Centered Text Understanding

https://arxiv.org/abs/2403.06208 Personalized LoRA for Human-Centered Text UnderstandingEffectively and efficiently adapting a pre-trained language model (PLM) for human-centered text understanding (HCTU) is challenging since user tokens are million-level in most personalized applications and do not have concrete explicit semantics. A standararxiv.org Personalized LoRA에 대한 연구를 진행하고자 관련 연구를 찾아보던 ..

[AWS] geeseFS로 S3와 EC2 마운트

GeeseFS | Yandex Cloud - Documentation Yandex Finds everything yandex.cloud Yandex에서 진행한 벤치마크에서 s3fs-fuse보다 geeseFS가 속도가 훨씬 잘 나와서 설치를 진행해 보고자 한다. Install AWS EC2 Ubuntu에 설치를 진행하였다. sudo apt-get install fuse wget https://github.com/yandex-cloud/geesefs/releases/latest/download/geesefs-linux-amd64 chmod a+x geesefs-linux-amd64 sudo cp geesefs-linux-amd64 /usr/bin/geesefs AWS CLI 설치 후 진행할 것! ~/.aws..

[논문리뷰] LoRA : Low-Rank Adaptation of Large Language Models + 코드

https://arxiv.org/abs/2106.09685 LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes le arxiv.org LoRA : Low-Rank Adaptation of Large Language Mo..

[논문리뷰] SUPER-NATURALINSTRUCTIONS: Generalization via Declarative Instructions on 1600+ NLP Tasks

https://arxiv.org/abs/2204.07705 Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks How well can NLP models generalize to a variety of unseen tasks when provided with task instructions? To address this question, we first introduce Super-NaturalInstructions, a benchmark of 1,616 diverse NLP tasks and their expert-written instructions. Our arxiv.org Summary 1..

[HPC Lab] LSTM으로 Google Cluster Trace Data의 CPU rate 예측하기 - 예측

https://welldonecode.tistory.com/96 [HPC Lab] LSTM으로 Google Cluster Trace Data의 CPU rate 예측하기 - 데이터 전처리 Cluster Autometic DR 논문의 공저자를 목표로 대장정을 시작한다. 아래의 google 공식 github에서 cluter trace data 2011 (version 2) 를 이용하여 CPU rate에 관련된 데이터를 만들고자 한다. https://github.com/google/clus welldonecode.tistory.com 이전 포스팅에서 데이터 전처리를 완료하여 단일 클러스터의 CPU, Memory 사용량에 대한 10분 주기의 시계열 데이터를 생성하였다. 이번엔 기본적인 LSTM 모델을 생성하여 해..

[HPC Lab] LSTM으로 Google Cluster Trace Data의 CPU rate 예측하기 - 데이터 전처리

Cluster Autometic DR 논문의 공저자를 목표로 대장정을 시작한다. 아래의 google 공식 github에서 cluter trace data 2011 (version 2) 를 이용하여 CPU rate에 관련된 데이터를 만들고자 한다. https://github.com/google/cluster-data GitHub - google/cluster-data: Borg cluster traces from Google Borg cluster traces from Google. Contribute to google/cluster-data development by creating an account on GitHub. github.com Alibaba의 데이터셋도 고려하였지만, 데이터셋 크기가 크고 ..

[AWS] NFS, s3fs-fuse 성능 테스트

https://welldonecode.tistory.com/94 [AWS] EFS로 NFS 구성하기 AWS EC2 환경에 EFS를 마운트 시켜 NFS를 구성해 보겠다. 1. EFS 파일시스템 생성 Amazon EFS에서 새로운 파일 시스템을 생성한다. (생성시 설정해야 하는 모든 옵션은 기본값으로 설정하였다.) 미리 생성 welldonecode.tistory.com https://welldonecode.tistory.com/93 [AWS] s3fs-fuse 설치하기 s3fs-fuse란 파일시스템을 AWS S3 스토리지에 마운트하여 클라우드 스토리지를 로컬 파일시스템처럼 사용할 수 있도록 해주는 오픈소스 소프트웨어다. EC2 amazon Linux 환경에서 설치를 진행하였다. 1. welldonecode...

[AWS] EFS로 NFS 구성하기

AWS EC2 환경에 EFS를 마운트 시켜 NFS를 구성해 보겠다. 1. EFS 파일시스템 생성 Amazon EFS에서 새로운 파일 시스템을 생성한다. (생성시 설정해야 하는 모든 옵션은 기본값으로 설정하였다.) 미리 생성해놨던 EC2 인스턴스의 보안 그룹을 아래와 같이 launch-wizard-n (n에 해당하는 숫자는 상관 없다.) 과 default 두 개로 설정한다. 2. 마운트 EC2에 amazon-efs-utils 패키지를 설치한다. EC2의 root 디렉토리에 efs 디렉토리를 생성한다. EFS -> 연결 에서 NFS 클라이언트 사용 커맨드를 복사하여 EC2에서 실행시킨다. 끝! 쉽다..

[AWS] s3fs-fuse 설치하기

s3fs-fuse란 파일시스템을 AWS S3 스토리지에 마운트하여 클라우드 스토리지를 로컬 파일시스템처럼 사용할 수 있도록 해주는 오픈소스 소프트웨어다. EC2 amazon Linux 환경에서 설치를 진행하였다. 1. S3 버킷 생성 s3fs-fuse를 이용하여 S3 Bucket과 마운트 하기 위해 Bucket을 생성한다. 보안 자격 증명 -> 사용자 생성 사용자 -> 보안 자격 증명 -> 액세스 키 만들기 (처음 생성 시에만 키를 확인할 수 있으니, 나중에 확인하기 위해 csv 파일로 키를 저장해 놓아야 한다) 앞서 생성했던 User의 권한 -> 권한 정책 -> 권한 추가 -> AmazonS3FullAccess 권한으로 추가 AWS S3 에서 새로운 버킷 생성 리전 이슈가 발생하여 안정적인 연결을 위해..

[리눅스] 리눅스 삭제파일 복구

서버에서 실수로 데이터셋을 통째로 rm 해버리는 일이 생겼다. 실수로 삭제했거나 특정 이유로 삭제된 파일은 ls -al 로 확인해 보면 .Trash-0 폴더에 있을 가능성이 높다. 이 때, 아래의 코드로 삭제된 파일이나 디렉토리를 복구할 수 있다. sudo apt-get install trash-cli trash-list trash-restore