Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Refactor profiles scraper to use API

Đang mở
  • Có gì không ổn?
#111 4 bình luận 0 reaction 1 người được giao Xem trên GitHub

@AJayaV06 đang làm issue này rồi.

Từ ngày 10/5/2026.

  • #168 của @AJayaV06 — đang mở

Đánh giá

Issue này chưa được đánh giá.

Mô tả

Help Wanted L2

Overview

Refactor the profile scraper in scrapers/profiles.go to just pull data from the below API and create a parser/profiles.go file to parse that data into our preexisting format, maybe with more fields for more information if there is any.

Information from the Office of Research and Innovation that maintains UT Profiles:

Here's the documentation I created for the profiles.utdallas.edu API: https://documenter.getpostman.com/view/8354395/TzCHApzg . It's a public API. The one thing I would strongly suggest is to try to limit the scope of your calls so as to not overload our server. (Some faculty have thousands of publications, so grabbing all that data is quite intensive.) You might, for example, start by grabbing the list of profiles at https://profiles.utdallas.edu/api/v1, then loop through in chunks and pull something like

https://profiles.utdallas.edu/api/v1?person=herve.abdi;nimali.abeykoon;robert.ackerman&with_data=1&data_type=information;areas

Alternatively, just loop through each of the schools (AHT, BBS, ECS, etc), like this:

https://profiles.utdallas.edu/api/v1?from_school=AHT&with_data=1&data_type=information;areas

Note

Recommend that 2 people working on this issue:

  • One will work on the calling the API to get the raw data.
  • Another one will work on parsing the data and setting up connection with courses and sections
Ngôn ngữ chính
Go
Star
12
Fork
54
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

  • Có Dockerfile hoặc tệp Docker Compose
  • Có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của UTDNebula/api-tools

Tất cả issue của UTDNebula/api-tools

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.