[io] pcl::io::raw_open opens files in text mode on Windows, so raw_read alters binary data

Đang mở Phù hợp với người mới
#6,536 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 3 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
1/5
Thời gian dự kiến
Dưới một giờ
Mức phù hợp với người mới
82/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
cpp
Lĩnh vực
operating-systems

Hướng nghiên cứu

Bắt đầu trong pcl/io/low_level_io.h, ở nhánh _WIN32 nơi raw_open bọc ::_open; so sánh các overload đó với các overload POSIX. Tái hiện bằng một tệp nhị phân nhỏ chứa 0D 0A và 1A, như trong issue, và kiểm tra số byte của raw_read. Sau đó chạy thử các caller bị ảnh hưởng PCDReader::read cho các tệp binary_compressed và LineRGBD::loadTemplates. Hoàn tất nghĩa là raw_read trên Windows trả về các byte của tệp không đổi và không còn cắt ngắn tại CRLF hoặc 0x1A.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

kind: bug status: triage

Describe the bug

On Windows, pcl::io::raw_open (pcl/io/low_level_io.h) calls ::_open without _O_BINARY. The CRT default translation mode is text (_O_TEXT, unless the application changes _fmode). As a result, pcl::io::raw_read on that descriptor:

  • collapses every CR LF pair into LF, compacting the buffer in place, and returns fewer bytes;
  • stops at a 0x1A byte.

POSIX open has no text mode, so the same code reads different bytes on Linux and Windows.

PCL reads binary data through these wrappers: PCDReader::read for binary_compressed files and LineRGBD::loadTemplates. raw_open/raw_read are also public API for user code.

Expected behavior

raw_read returns the file's bytes unchanged, as it does on POSIX.

Current Behavior

A file holds the bytes 0D 0A 00 01 40 00 00 02, and 4 bytes are read from it:

| open flags | _read returns | buffer
| O_RDONLY (what raw_open does) | 3 | 0A 00 01 01
| O_RDONLY \| _O_BINARY | 4 | 0D 0A 00 01

With the bytes 1A 0A 00 00, text mode returns 0.

Consequences:

  • LineRGBD::loadTemplates reads each .sqmmt entry with raw_read (ltm_fd, buffer, fsize) and checks only for -1. After the first 0D 0A pair, every following byte is shifted by one and the tail holds stale bytes. sqmmt.deserialize then reads corrupted data.
  • PCDReader::read reads the 4-byte compressed size of a binary_compressed file with raw_read and checks only num_read < 0. On Windows the value is used only for the file-size check, because the whole file is mapped. When translation makes the value larger, a valid file is rejected with "Corrupted PCD file. The file is smaller than expected!". For example, a compressed size of 0x01000A0D (16 779 789 bytes) is read as 0x0101000A, which is 62 973 bytes too large.

To Reproduce

#include <pcl/io/low_level_io.h>
#include <fcntl.h>
#include <cstdio>
#include <fstream>

int main ()
{
  const unsigned char bytes[] = {0x0D, 0x0A, 0x00, 0x01};
  std::ofstream ("crlf.bin", std::ios::binary).write (reinterpret_cast<const char*> (bytes), sizeof (bytes));

  int fd = pcl::io::raw_open ("crlf.bin", O_RDONLY);
  unsigned char buf[4] = {};
  const auto n = pcl::io::raw_read (fd, buf,
  pcl::io::raw_close (fd);
  std::printf ("n=%d %02X %02X %02X %02X\n",, buf[1], buf[2], buf[3]);
  // Linux:   n=4 0D 0A 00 01
  // Windows: n=3 0A 00 01 01
}

Your Environment (please complete the following information):

  • OS: Windows 11
  • Compiler: MSVC (Visual Studio 2026)
  • PCL Version: 1.12.1 and current master

Possible Solution

Open in binary mode inside the Windows wrappers. O_BINARY does not exist on POSIX, so callers cannot pass it portably.

#ifdef _WIN32
# include <fcntl.h> // _O_BINARY
...
    inline int raw_open(const char * pathname, int flags, int mode)
    {
      return ::_open(pathname, flags | _O_BINARY, mode);
    }

    inline int raw_open(const char * pathname, int flags)
    {
      return ::_open(pathname, flags | _O_BINARY);
    }
Ngôn ngữ chính
C++
Star
11.2k
Fork
4.7k
Merge trung bình
6 ngày 13 giờ
Pull request đã merge (30 ngày)
10

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của PointCloudLibrary/pcl

Tất cả issue của PointCloudLibrary/pcl

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.