테라 단위의 매우 길고 복잡한 디렉토리 구조를 갖고 있는 파일 및 폴더를 S3에서 다운 받아야 할 경우가 있었어요.
얼마 안되는 양의 데이터라면 별 부담없이 일일이 다운 받아도 되겠지만,
테라 단위까지 가면 일일이 다운받는 일은 불가능하겠죠... (시간이 오래걸리겠지만 가능하긴 할거에요...)
이런 난해한 상황에서 제가 사용한 방법들을 소개하려 합니다.
처음에는 FTP 프로그램을 사용하려 했었어요.
아래는 제가 시도하려 했거나, 시도했었던 FTP 프로그램들입니다!
사용법은 적지 않았어요.
굳이 사용법을 적을 필요도 없이 FTP 프로그램의 사용법은 쉬우니까요!
다만 제가 사용했을 때, 장점이나 단점이나 단점이나 단점에 대해 말하려 합니다!
1. 파일질라
장점 : 유명
단점 : 무료버전은 AWS S3 지원 X
가장 유명하고 친숙한 FTP 프로그램으로는 '파일질라'가 있죠.
하지만 파일질라에서 AWS S3를 연결하려면 무료 버젼으로는 불가능하며, 유료 버젼을 사용해야 합니다.
그래서 저는 파일질라는 PASS 했습니다!
2. 사이버덕
장점 : 이쁨, 편한 UI, 무료버젼 AWS 지원 O
단점 : 3일에 한번꼴로 있는 업데이트와 후원하라는 안내창, 대용량 및 복잡한 디렉토리 구조에서 에러
사이버덕은 파일질라와 같은 FTP 프로그램입니다. 파일질라보다 더 이쁜 아이콘과 UI를 갖고 있죠. 하지만 사용 방법이나 방식은 파일질라와 거의 99% 같습니다.
처음 사용했을 때는 매우 좋았어요. 파일질라와 다르게 무료 버젼이 AWS S3을 지원하고, 인터페이스도 파일질라보다 이쁘고, 쉬웠거든요.
하지만 가장 중요한 대용량 전송에 있어서 처음엔 잘되다가 계속 중간에 끊어지고 오류가 발생하더라고요...
만약 300기가의 데이터를 다운받는다 치면 99.9%에서 항상 오류가 발생했어요. 찾아봤는데 그이유는 모르겠더라고요...
화가나는건 항상 99.9%에서 멈추고, 이어받기가 안된다는 점이었어요.
원래는 이어받기가 되어야하는데 에러난 항목은 이어받기를 하더라도 또 똑같은 99.9%에서 에러가 발생하더라고요....
추측하건데 이 에러는 사이버덕 쪽의 문제가 아닌 큰 용량과 복잡한 디렉토리 구조의 문제인 것 같아요.
디렉토리 구조가 너무 복잡해서 255자가 넘어가는 경우가 많았는데 그럴때마다 에러가 나더라고요.(윈도우는 255자 이상의 디렉토리 구조를 사용하려면 따로 설정을 바꿔야 합니다.)
그리고 또다른 단점으로는 3일에 한번꼴로 파일의 업데이트가 이뤄지면서 후원하라는 안내창이 뜹니다.
아마 무료버젼으로 프로그램을 푼 대신 자주 업데이트하여 사람들에게 후원을 유도하는 전략을 사용하는 것 같아요.
무료로 좋은일 하시는 좋은 사람들에게 후원하고 싶지만... 하하!
3. 포크리프트3 (Fork Lift 3)
장점 : 편한 UI, 무료버젼, AWS 지원 O
단점 : 맥전용
맥에서만 사용할 수 있는 어플리케이션입니다. 그리고 상대적으로 위에 나열한 FTP 보다 에러가 많이 적었어요.
하지만 결국에는 이 포크리프트3도 에러가 발생하더라고요.
4. 크라우드베리
장점 : AWS 지원 O
단점 : 촌스럽고(?) 복잡한 UI,
윈도우에서 사용한 FTP 프로그램입니다. 마지막으로 시도해본 FTP 소프트웨어입니다. 단점에 복잡하다고는 했었으나 한번 눈에 익으면 오히려 다운로드 과정 같은 것이 자세히 나오기 때문에 더 좋을수도 있을 것 같아요.
하지만 이 소프트웨어 또한 대용량 전송 시에는 에러가 발생했습니다.
결론은
"AWS S3에서 대용량을 LOCAL로 옮길시에는 FTP 소프트웨어는 적합하지 않다."
입니다.
이는 제가 2주 넘게 시간을 투자해서 내린 결론입니다. 기가 단위로 쪼게서 다운받았을 때도 결국에는 에러가 발생했고, 갖은 노력을 했지만 결국에는 에러가 발생했습니다.
제가 최종적으로 성공하고, 사용한 방법은 맥 OS에서 터미널창을 이용한 AWS Command Line Interface 입니다.
제가 생각하는 대용량 전송을 스트레스 없이 전송할 수 있는 가장 최고의 방법이 아닐까 생각합니다.
저는 맥 OS에서 사용했지만, Linux계열 운영체제에서 사용해도 좋을 거라고 생각합니다.
이에 대한 방법은 다음에 올리도록 하겠습니다~~