Refactor profiles scraper to use API
评估
这个 Issue 还没有评估数据。
描述
Overview
Refactor the profile scraper in scrapers/profiles.go to just pull data from the below API and create a parser/profiles.go file to parse that data into our preexisting format, maybe with more fields for more information if there is any.
Information from the Office of Research and Innovation that maintains UT Profiles:
Here's the documentation I created for the profiles.utdallas.edu API: https://documenter.getpostman.com/view/8354395/TzCHApzg . It's a public API. The one thing I would strongly suggest is to try to limit the scope of your calls so as to not overload our server. (Some faculty have thousands of publications, so grabbing all that data is quite intensive.) You might, for example, start by grabbing the list of profiles at https://profiles.utdallas.edu/api/v1, then loop through in chunks and pull something like
Alternatively, just loop through each of the schools (AHT, BBS, ECS, etc), like this:
https://profiles.utdallas.edu/api/v1?from_school=AHT&with_data=1&data_type=information;areas
Note
Recommend that 2 people working on this issue:
- One will work on the calling the API to get the raw data.
- Another one will work on parsing the data and setting up connection with courses and sections
- 主要语言
- Go
- 星标
- 12
- 派生
- 54
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
UTDNebula/api-tools 的其他 Issue
-
Improve unit tests in sectionParser_test.go可能重新可做 @Sidd-Pelluru 于 30 天前认领,目前没有进行中的 PR。 未关闭L1 recommended for recruits
难度 2/5 1-3 小时 新手友好度 88/100
-
Improve unit tests in discountsParser_test.go可能已有人在做 @LikithInam 于 16 天前认领。 未关闭L1 recommended for recruits
难度 2/5 1-3 小时 新手友好度 88/100
-
L1 recommended for recruits
难度 2/5 1-3 小时 新手友好度 85/100
-
Comet Calendar events with multiple locations可能已有人在做 @azythromycin 于 10 天前认领。 未关闭L1 Type: Bug Report
难度 2/5 1-3 小时 新手友好度 76/100
-
Improve output in events.go可能已有人在做 @DennisOrtin 于 21 天前认领。 未关闭L1 recommended for recruits
难度 2/5 1-3 小时 新手友好度 76/100
查看 UTDNebula/api-tools 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 75/100
github/github-mcp-server#3581 ·
维护者通常 2 天内回复
-
agent-review-finding chore
难度 1/5 1 小时以内 新手友好度 85/100
jordansmall/spindrift#6033 ·
维护者通常 1 天内回复
-
enhancement
难度 2/5 1-3 小时 新手友好度 75/100
hyperledger/fabric-x-common#230 ·
维护者通常 1 天内回复
-
bug
难度 2/5 半天 新手友好度 65/100
open-wanderer/wanderer#1443 · 3 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 75/100
维护者通常 1 天内回复