[Airflow Error] 403:Forbidden

 

403 Forbidden

HTTP 오류 코드

URL을 들어가거나, API를 요청하던 중 다음과 같은 에러를 만났나요?

그렇다면 여러분은 정상적인 요청을 했습니다만, 저쪽의 서버가 거부한 것입니다. 여러분이 해야할 것은, 이것저것 코드 에러를 찾기 보단, 해당 url의 사이트가 원하는 권한을 부여받아야 합니다. 예를 들어 api key를 받거나, authentication 룰을 살펴보고 따라해야 합니다. 

 

 

저의 경우, 

Airflow Task 중 opensea api 유무를 확인하는 센서를 개발하고 있었습니다.

당연히 opensea api URL을 타고 확인하는 작업이 컴퓨터에서 이뤄질 것이고, 그러다가 다음과 같은 오류를 냈습니다.

 

Traceback (most recent call last):
  File "/home/mingu/anaconda3/lib/python3.9/site-packages/airflow/providers/http/hooks/http.py", line 159, in check_response
    response.raise_for_status()
  File "/home/mingu/anaconda3/lib/python3.9/site-packages/requests/models.py", line 960, in raise_for_status
    raise HTTPError(http_error_msg, response=self)
requests.exceptions.HTTPError: 403 Client Error: Forbidden for url: https://api.opensea.io/api/v1/assets?collection=doodles-official&limit=1    

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/home/mingu/anaconda3/lib/python3.9/site-packages/airflow/sensors/base.py", line 277, in execute
    poke_return = self.poke(context)
  File "/home/mingu/anaconda3/lib/python3.9/site-packages/airflow/providers/http/sensors/http.py", line 135, in poke
    raise exc
  File "/home/mingu/anaconda3/lib/python3.9/site-packages/airflow/providers/http/sensors/http.py", line 122, in poke
    response = hook.run(
  File "/home/mingu/anaconda3/lib/python3.9/site-packages/airflow/providers/http/hooks/http.py", line 149, in run
    return self.run_and_check(session, prepped_request, extra_options)
  File "/home/mingu/anaconda3/lib/python3.9/site-packages/airflow/providers/http/hooks/http.py", line 202, in run_and_check
    self.check_response(response)
  File "/home/mingu/anaconda3/lib/python3.9/site-packages/airflow/providers/http/hooks/http.py", line 163, in check_response
    raise AirflowException(str(response.status_code) + ":" + response.reason)
airflow.exceptions.AirflowException: 403:Forbidden

 

오류의 키워드는 다음과 같습니다.

1. 403 Client Error : Forbidden for url

2. airflow.exceptions.AirflowException : 403 : Forbidden

 

 

URL은 제대로 입력되어 있으며, Airflow Connection도 제대로 생성된 것을 확인했습니다. 보아하니, 위험하다고 판단하여 opensea 서버에서 자체적으로 차단한 것 같습니다. opensea API 이용을 위한 인증 혹은 권한을 받아야 할 것으로 보였고, 그에 해당하는 api key를 받아서 접근하자 Success!

여러분도 당황하지 마시고, 바로 해당 사이트가 어떤 권한/인증을 원하는지부터 살펴보세요!