Add a section to read and parse data into a DataFrame
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tài liệu
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- pandas, python
- Lĩnh vực
- data, documentation
Hướng nghiên cứu
Đọc các phần “Automating data processing using For Loops” và “Reading CSV Data Using Pandas” được liên kết trong issue, cùng với cấu trúc xung quanh của bài học. Công việc được xem là hoàn tất khi bài học bao gồm một phần rõ ràng về việc phân tích các hàng CSV thành một DataFrame bằng ví dụ generator được đề xuất và giải thích khi nào cách tiếp cận này hữu ích với các tập dữ liệu lớn.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
How could the content be improved?
The following section introduce how data can be processed using loops
Automating data processing using For Loops
I believe it would also be advantageous to have a similar section in the following
Here we can briefly introduce python generators as well. For example, consider a CSV file where entries are name, age, location. We can parse this data to a dataframe using a generator. Image location is a comma separated string field and we want to read latitude and longitude separately.
| name | age | location |
|---|---|---|
| John | 50 | 123341,123321 |
| Emily | 25 | 321321,123321 |
| Wick | 35 | 123341,654789 |
| Raj | 40 | 987789,123321 |
import csv
import pandas as pd
def transform_lines(csv_path):
reader = csv.reader(open(csv_path))
for line_no, line in enumerate(reader):
if line_no == 0:
yield ["Name", "Age", "Latitude", "Longitude"]
else:
name, age, location = line
lat, lng = location.split(",")
yield [name, int(age), float(lat), float(lng)]
lines = transform_lines("./data.csv")
df = pd.DataFrame(lines)
print(df.head())
This is specially useful in large datasets where loading large amount of data in text form is memory consuming.
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 176
- Fork
- 316
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của datacarpentry/python-ecology-lesson
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
-
Reducing "read in" jargonĐang mở
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Error in solution to "Challenge - Plots"Có thể đã có người làm @archaeolauren đã nhận 192 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
-
Recommend a supported Python release, not just any 3.xCó thể đã có người làm @nbdani đã nhận 194 ngày trước. Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 75/100
-
Lowercase "p" in "pandas"Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 65/100
Tất cả issue của datacarpentry/python-ecology-lesson
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
osmlab/name-suggestion-index#12992 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 64/100
colour-science/colour#1425 ·
-
unavailable - 2nd tier
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
MobilityData/mobility-database-catalogs#1759 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Bug: Incorrect location coordinates on logged Sound Meter dataCó thể đã có người làm @Jashan32 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
good first issue help wanted
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
hazeliscoding/conatlas-tx#33 ·
Maintainer thường phản hồi trong vòng 1 ngày