이번 코드트리에서 여름방학 조별과제 이벤트가 열려 학교 소속으로 참여하게 되었다.  1주차이기 때문에 진단평가 결과와 가볍게 시작한 코딩 공부 현황을 적어보겠다. > 진단평가코드트리의 꽃이라고 생각이 든 진단평가이다.내가 느끼기에는 실제 코딩테스트와 비슷한 느낌의 문제풀이가 평균 20분 진행되는데,쉬운 문제는 10분, 비교적 어려운 문제는 20분의 제한시간이 존재하다보니편하게 보는 시험임에도 불구하고 은근 긴장이 되었던 것 같다. 알고리즘을 혼자서 공부한지 벌써 2년이란 시간이 흘러 현재 내 실력을 판단 해야겠다는 생각에첫 진단평가를 바로 진행했다. 세상에 dp에서 넘어져버렸다...dp 이전 개념까지는 문제를 봤을 때 어느정도 생각나는 유형이 정해져 있다보니 바로바로 풀 수 있었지만dp나 그리디 같은 기..

목적깃허브 코드 크롤링을 위해 모든 코드 내용이 남긴 전체 스크린샷과 코드 탐색에 사용한 키워드가 하이라이팅 된 상태인 부분 코드 스크린샷파이썬 라이브러리 Selenium 활용 하이라이트 스크린 샷> 방식:  * 이 과정은 github code page의 html 분석 후 진행됨textarea tag에 위치한 코드의 내용이 들어간 스트링을 불러와 키워드가 속한 부분이 몇번째 줄에 위치했는지 구함div 태그의 data-line-number 필드가 포함된 형태로 깃허브 라인수를 나타내는 부분이 구성됨을 확인 (클릭시 하이라이팅 기능이 있음)div[@data-line-number="{target_line} 구한 라인을 필드 값으로 넣어서 찾은 뒤 클릭하여 하이라이팅> 트러블 슈팅검색된 파일이 코드가 아닌경우 ..

MongoDB의 기본 저장 형식 BSON데이터는 BSON(Binary JSON) 형식의 문서로 저장BSON 문서의 크기 제한은 16MB크기 제한을 넘기는 파일은 저장할 수 없음 MongoDB의 파일 저장 시스템 GridFSMongoDB에 BSON 크기 제한인 16MB를 넘기는 파일을 저장하고 검색하는 데에 사용파일을 여러 개의 청크로 나누어 각각의 청크를 별도의 문서로 저장기본적으로 GridFS는 255 kB의 기본 청크 크기 → GridFS는 마지막 청크를 제외하고 파일을 255 kB의 청크로 나눔MongoDB의 청크 파티셔닝: https://www.mongodb.com/ko-kr/docs/manual/core/sharding-data-partitioning/GridFS는 두 개의 컬렉션을 사용하여 파..

컬렉션에 한 번에 다수의 데이터를 삽입하는 명령collection.insert_many(데이터들)현재 구현 방식에서는 고유 인덱스가 겹치면 데이터를 넣지 않아야하기 때문에 Duplicate Exception을 catch하는 방식을 활용한다.insert_many의 경우 하나의 데이터라도 Exception이 발생하면 삽입을 중단하기 때문에collection.insert_many(데이터들, ordered=False)매개변수 ordered를 False로 지정하여 중단이 되지 않도록 해야한다.

Code Search Rate Limit (Error Code: 402)This endpoint requires you to authenticate and limits you to 10 requests per minute.분당 10개의 요청을 할 경우 1분 동안 락이 걸리게 됨 > GitHub API의 각 Rate Limit 확인하는 방법다음의 API 요청을 보낸다 (단순 rate limit API이다)$ curl -L \-H "Authorization: Bearer github_pat_toooooooooookeeeeeeeeeeeeeen" \"https://api.github.com/rate_limit"응답{ "resources": { "core": { "limit": 5000, ..

개요‘수집한 GitHub 파일의 중복 유무를 SHA에 나타난 Hash 값을 이용하는 건 어떨까?’ 하는 아이디어를 위한 테스트 진행테스트 레포(https://github.com/csb0710/git_api_test/tree/main) 생성 후 진행레포지토리의 컨텐츠들을 가져오는 git api 활용$ curl -L \\ -H "Accept: application/vnd.github+json" \\ -H "Authorization: Bearer github_pat_toooooooooooookeeeeeeeeeeeeeen" \\ -H "X-GitHub-Api-Version: 2022-11-28" \\  결과기존 test.mdtest.md의 SHA 값: 90052478cb743373c8e7c79871f0..

# 파이썬 실행시 NotOpenSSLWarning오류 내용: urllib3 v2가 OpenSSL 1.1.1+ 를 지원하지 않아 생기는 문제로 확인/Users/s2w/Library/Python/3.9/lib/python/site-packages/urllib3/__init__.py:35: NotOpenSSLWarning: urllib3 v2 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'LibreSSL 2.8.3'. See: warnings.warn(해결 방법$ brew install openssl@1.1$ pip install urllib3==1.26.6

깃허브 코드 검색 API 기본 구조 (curl 예시)curl -L \-H "Accept: application/vnd.github+json" \-H "Authorization: Bearer github_pat_tooooooooooooooookeeeeeeeeeeeeeeen" \-H "X-GitHub-Api-Version: 2022-11-28" \"[https://api.github.com/search/code?q=](https://api.github.com/search/code?q=Q)쿼리문" 헤더Accect: 서버가 반환한 응답 형식 지정-H "Accept: application/vnd.github+json": 서버가 반환하는 응답을 JSON 형식으로 받음 (권고)Authorization: GitHub ..