Google API의 일종인 Custom Search Engine(CSE)을 이용해 구글 검색 결과를 크롤링해보자. 순서는 아래와 같다. 1. Google Custom Search Engine(CSE) 만들기 아래 사이트에서 자신에게 맞는 검색 엔진을 만들자. https://cse.google.com/cse/create/new 아래 그림에서 검색할 사이트를 추가하면 원하는 사이트에 대해 검색을 할 수 있게 해준다. 현재는 stackoverflow.com으로 설정했다. 2. 검색 엔진 ID 추출 CSE 추가 후 아래에서 검색 엔진 ID를 복사해 놓는다. 아래 그림 참조. https://cse.google.com/cse/all 3. Custom Search API 사용 설정하기 API 대쉬보드에서 라이브러리로 이동해 custom search API를 검색 해 사용 설정을 한다. 4. API Key 생성하기 아래 사이트에서 GET A KEY 링크 눌러, 프로젝트 생성 또는 기존 프로젝트 선택해서 키 생성한다. 그리고 이 key를 복사해 둔다. https://developers.google.com/custom-search/v1/overview 5. python으로 검색 결과 크롤링 위의 단계를 완료하면 이제 크롤링 준비는 끝났다. 아래와 같은 코드로 python으로 구글 검색을 수행하고 그 결과 중에서 링크를 추출할 수 있다. 현재 API로는 10개의 링크만 추출 가능하다. * 크롤링 예제(https://linuxhint.com/google_search_api_python/ 참조) from googleapiclient.discovery import build import json my_api_key = "api key" my_cse_id = "custom search engine id"...
Fortran에서 배열(array)에서 중복되는 요소를 제거하는 루틴을 작성했다. 기존의 인터넷 상의 코드는 2개 이상의 중복되는 요소들에서 중복되는 것만 제거하는 방식이다. 기존 Fortran 코드: Remove duplicate elements program remove_dups implicit none integer :: example(12) ! The input integer :: res(size(example)) ! The output integer :: k ! The number of unique elements integer :: i, j example = [1, 2, 3, 2, 2, 4, 5, 5, 4, 6, 6, 5] k = 1 res(1) = example(1) outer: do i=2,size(example) do j=1,k if (res(j) == example(i)) then ! Found a match so start looking again cycle outer end if end do ! No match found so add it to the output k = k + 1 ...
댓글
댓글 쓰기