FedML-AI/FedML

How to change data transform on built-in dataset?

Open

#1.115 aberto em 15 de jun. de 2023

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Python (743 forks)batch import
help wantedquestion

Métricas do repositório

Stars
 (3.930 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

I've read how you implement cifar10 in

  • fedml/data/data_loader.py : Entry point of loading dataset
  • fedml/data/cifar10/efficient_loader.py : loading cifar10 efficiently

I'm wondering if it is possible to change _data_transforms to a customized one? Can I configure it in fedml_config.yaml?

Since I want to perform federated transfer learning (FTL) from the ImageNet-pretrained model, which have been trained at different resolution (224x224).

Thanks!

def _data_transforms_cifar10():
    CIFAR_MEAN = [0.49139968, 0.48215827, 0.44653124]
    CIFAR_STD = [0.24703233, 0.24348505, 0.26158768]

    train_transform = transforms.Compose(
        [
            transforms.ToPILImage(),
            transforms.RandomCrop(32, padding=4),
            transforms.RandomHorizontalFlip(),
            transforms.ToTensor(),
            transforms.Normalize(CIFAR_MEAN, CIFAR_STD),
        ]
    )

    train_transform.transforms.append(Cutout(16))

    valid_transform = transforms.Compose(
        [
            transforms.ToTensor(),
            transforms.Normalize(CIFAR_MEAN, CIFAR_STD),
        ]
    )

    return train_transform, valid_transform


def load_cifar10_data(datadir):
    train_transform, test_transform = _data_transforms_cifar10()

    cifar10_train_ds = CIFAR10_truncated(
        datadir, train=True, download=True, transform=train_transform
    )
    cifar10_test_ds = CIFAR10_truncated(
        datadir, train=False, download=True, transform=test_transform
    )

    X_train, y_train = cifar10_train_ds.data, cifar10_train_ds.target
    X_test, y_test = cifar10_test_ds.data, cifar10_test_ds.target

    return (X_train, y_train, X_test, y_test)

Guia do colaborador

Direção de pesquisa
A issue solicita a capacidade de personalizar transformações de dados para conjuntos de dados integrados, como o CIFAR 10, via configuração. Para implementar isso, seria necessário modificar as funções de carregamento de dados em fedml/data/cifar10/efficient loader.py e possivelmente o ponto de entrada principal do carregador de dados em fedml/data/data loader.py. O arquivo de configuração fedml config.yaml deve ser estendido com um novo campo para especificar transformações personalizadas. Alternativamente, os usuários poderiam ter permissão para passar uma função ou classe de transformação personalizada. Os mantenedores devem discutir a abordagem desejada e garantir a compatibilidade com versões anteriores.
Pilha de tecnologia
pythonpytorch
Domain
machine learning
Tipo Issue
Documentação
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorchGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
55