选择您的 Cookie 首选项

我们使用必要 Cookie 和类似工具提供我们的网站和服务。我们使用性能 Cookie 收集匿名统计数据,以便我们可以了解客户如何使用我们的网站并进行改进。必要 Cookie 无法停用,但您可以单击“自定义”或“拒绝”来拒绝性能 Cookie。

如果您同意,AWS 和经批准的第三方还将使用 Cookie 提供有用的网站功能、记住您的首选项并显示相关内容,包括相关广告。要接受或拒绝所有非必要 Cookie,请单击“接受”或“拒绝”。要做出更详细的选择,请单击“自定义”。

设置 VPC 以连接到 PyPI for AWS Glue

聚焦模式
设置 VPC 以连接到 PyPI for AWS Glue - AWS Glue

Python Package Index(PyPI)是 Python 编程语言的软件库。本主题介绍支持使用 pip install 的软件包所需的详细信息(由会话创建者使用 --additional-python-modules 标志指定)。

使用与连接器的 AWS Glue 交互式会话会导致通过为连接器指定的子网使用 VPC 网络。因此,除非您设置特殊配置,否则 AWS 服务和其他网络目标不可用。

该问题的解决方法包括:

  • 使用您的会话可以访问的互联网网关。

  • 设置并使用带有 PyPI/simple 存储库的 S3 存储桶,其中包含软件包集依赖关系的传递闭包。

  • 使用镜像 PyPI 并连接到您的 VPC 的 CodeArtifact 存储库。

设置互联网网关

技术方面在 NAT 网关用例中有详细介绍,但请注意使用 --additional-python-modules 的这些要求。具体而言,--additional-python-modules 需要访问 pypi.org,这取决于您的 VPC 的配置。请注意以下要求:

  1. 要求通过 pip install 为用户会话安装其他 python 模块。如果会话使用连接器,则您的配置可能会受到影响。

  2. 当连接器与 --additional-python-modules 一起使用时,启动会话时,与该连接器的 PhysicalConnectionRequirements 关联的子网必须提供到达 pypi.org 的网络路径。

  3. 您必须确定配置是否正确。

设置 Amazon S3 存储桶以托管目标 PyPI/simple 存储库

此示例在 Amazon S3 中为一组软件包及其依赖关系设置了 PyPI 镜像。

要为一组软件包设置 PyPI 镜像,请执行以下操作:

# pip download all the dependencies pip download -d s3pypi --only-binary :all: plotly gglplot pip download -d s3pypi --platform manylinux_2_17_x86_64 --only-binary :all: psycopg2-binary # create and upload the pypi/simple index and wheel files to the s3 bucket s3pypi -b test-domain-name --put-root-index -v s3pypi/*

如果您已经有现有构件存储库,它将有一个索引 URL 供 pip 使用,您可以提供该索引 URL 来代替上述 Amazon S3 存储桶的示例 URL。

要使用自定义 index-url,请使用一些示例包:

%%configure { "--additional-python-modules": "psycopg2_binary==2.9.5", "python-modules-installer-option": "--no-cache-dir --verbose --index-url https://test-domain-name.s3.amazonaws.com/ --trusted-host test-domain-name.s3.amazonaws.com" }

设置连接到您的 VPC 的 pypi 的 CodeArtifact 镜像

要设置镜像,请执行以下操作:

  1. 在与连接器使用的子网相同的区域中创建存储库。

    选择 Public upstream repositories,然后选择 pypi-store

  2. 提供从 VPC 访问子网存储库的权限。

  3. 使用 python-modules-installer-option 指定正确的 --index-url

    %%configure { "--additional-python-modules": "psycopg2_binary==2.9.5", "python-modules-installer-option": "--no-cache-dir --verbose --index-url https://test-domain-name.s3.amazonaws.com/ --trusted-host test-domain-name.s3.amazonaws.com" }

有关更多信息,请参阅 Use CodeArtifact from a VPC

隐私网站条款Cookie 首选项
© 2025, Amazon Web Services, Inc. 或其附属公司。保留所有权利。