自動下載

截止日期 CLI 提供命令，以下載自上次執行相同命令後佇列中所有任務的輸出。您可以將此設定為 Cron 任務或排程任務，以重複執行。此組態會設定持續自動下載輸出。

在設定自動下載之前，請遵循任務附件的儲存設定檔中的步驟，設定資產資料的所有路徑以進行上傳和下載。如果任務使用不在其儲存設定檔中的輸出路徑，則自動下載會略過下載該輸出並列印警告訊息，以摘要其未下載的檔案。同樣地，如果提交的任務沒有儲存描述檔，則自動下載會略過該任務並列印警告訊息。根據預設，截止日期雲端提交者會顯示儲存設定檔外部路徑的警告訊息，以協助確保正確的組態。

設定 AWS 登入資料

自動下載使用截止日期 CLI 來持續下載任務輸出。若要驗證這些下載，您需要長期 IAM 登入資料。截止日期的雲端監視器登入資料會過期，因此您無法將其用於此目的。

請依照下列步驟設定長期登入資料。

重要

請注意下列警告：

請勿使用您帳戶的根登入資料來存取 AWS 資源。這些登入資料可讓未管制的帳戶存取和很難撤銷這些帳戶。
請勿在應用程式檔案中放置常值存取金鑰或憑證資訊。如果您不小心這麼做了，則會有暴露您登入資料的風險，例如，當您上傳專案到公有儲存庫時。
請勿在您的專案區域中放入包含憑證的檔案。
保護您的存取金鑰。請勿將您的存取金鑰提供給未經授權的當事方，即便是協助尋找您的帳戶識別符也不妥。如果這麼做，就可能會讓他人能夠永久存取您的帳戶。
請注意，存放在共用 AWS 登入資料檔案中的任何登入資料都會以純文字形式儲存。

如需詳細資訊，請參閱《 AWS 一般參考》中的管理 AWS 存取金鑰的最佳實務。

建立 IAM 使用者

前往 https://console.aws.amazon.com/iam/ 開啟 IAM 主控台。
在導覽窗格中選取使用者，然後選取建立使用者。
將使用者命名為 deadline-output-downloader。清除提供使用者存取權 AWS 管理主控台的核取方塊，然後選擇下一步。
選擇直接連接政策。
選擇建立政策以建立具有最低必要許可的自訂政策。

在 JSON 編輯器中，指定下列許可：

命名政策DeadlineCloudOutputDownloadPolicy，然後選擇建立政策。
返回使用者建立頁面，重新整理政策清單，然後選取您剛建立的 DeadlineCloudOutputDownloadPolicy，然後選擇下一步。
檢閱使用者詳細資訊，然後選擇建立使用者。

建立存取金鑰

從使用者詳細資訊頁面，選取安全登入資料索引標籤。在存取金鑰區段中，選擇建立存取金鑰。
表示您想要使用其他金鑰，然後選擇下一步，然後選擇建立存取金鑰。
在擷取存取金鑰頁面上，選擇顯示以顯示使用者私密存取金鑰的值。您可以複製憑證或下載 .csv 檔案。

存放使用者存取金鑰

將使用者存取金鑰存放在系統中的 AWS 登入資料檔案中：
- 在上Linux，檔案位於 ~/.aws/credentials
- 在上Windows，檔案位於 %USERPROFILE%\.aws\credentials
取代下列金鑰：
```
[deadline-downloader]
aws_access_key_id=ACCESS_KEY_ID
aws_secret_access_key=SECRET_ACCESS_KEY
region=YOUR_AWS_REGION
```

重要

當您不再需要此 IAM 使用者時，建議您將其移除，以符合AWS 安全最佳實務。我們建議您要求人類使用者在存取AWS IAM Identity Center時透過使用暫時登入資料 AWS。

先決條件

在建立 cron 任務或排程任務以進行自動下載之前，請完成下列步驟。

如果您尚未安裝 Python，請從 Python 網站安裝 Python。
執行下列動作來安裝截止日期 CLI：
```
python -m pip install deadline
```
使用以下命令確認截止日期 CLI 的版本為 0.52.1 或更新版本。
```
$ deadline --version
deadline, version 0.52.1
```
若要查看截止日期雲端監視器中的下載狀態，請使用 0.60.4 版或更新版本。該版本開始記錄監視器讀取的下載狀態。如需詳細資訊，請參閱在截止日期雲端中檢視輸出下載狀態。

測試輸出下載命令

驗證命令是否可在您的環境中運作

取得截止日期的路徑

執行 sync-output 命令以引導。


  /path/to/deadline queue sync-output \
  --profile deadline-downloader \
  --farm-id YOUR_FARM_ID \
  --queue-id YOUR_QUEUE_ID \
  --storage-profile-id YOUR_PROFILE_ID \
  --checkpoint-dir /path/to/checkpoint/directory \

只有在您的下載機器與提交機器相同時，才需要執行此步驟。將--storage-profile-id YOUR_PROFILE_ID \上述取代為 --ignore-storage-profiles。
提交測試任務。
1. 從 GitHub 下載 .zip 檔案。
  1. 在 GitHub 網站上開啟 deadline-cloud-samples 儲存庫。
  2. 選擇程式碼，然後從下拉式功能表中選取下載 ZIP。
  3. 將下載的封存解壓縮至本機目錄。
2. 執行
```
 cd /path/to/unzipped/deadline-cloud-samples-mainline/job_bundles/job_attachments_devguide_output
```
3. 執行
```
deadline bundle submit .
```
  1. 如果您沒有預設的截止日期組態設定，您可能需要在命令列中提供下列項目。
```
--farm-id YOUR-FARM-ID --queue-id YOUR-QUEUE-ID
```
4. 等待任務完成，再前往下一個步驟。

再次執行 sync-output 命令。


 /path/to/deadline queue sync-output \
  --profile deadline-downloader \
  --farm-id YOUR_FARM_ID \
  --queue-id YOUR_QUEUE_ID \
  --storage-profile-id YOUR_PROFILE_ID \
  --checkpoint-dir /path/to/checkpoint/directory

請確認下列內容：
- 您的測試任務輸出會顯示在目的地目錄中。
- 檢查點檔案會在您指定的檢查點目錄中建立。

設定排程下載

選取作業系統的索引標籤，了解如何設定每 5 分鐘自動下載一次。

Linux

驗證截止日期 CLI 安裝

取得截止日期可執行檔的確切路徑：
```
$ which deadline
```
請注意此路徑（例如 /opt/homebrew/bin/deadline) 用於 plist 檔案。
建立檢查點目錄

建立存放檢查點檔案的目錄。確保您的使用者執行命令的適當許可。
```
$ mkdir -p /path/to/checkpoint/directory
```
建立日誌目錄

建立 cron 任務日誌的目錄：
```
$ mkdir -p /path/to/logs
```
考慮使用 https://www.redhat.com/en/blog/setting-logrotate 在日誌檔案上設定日誌輪換
檢查目前的 Crontab

檢視您目前的 crontab 以查看現有的任務：
```
$ crontab -l
```
編輯 Crontab

開啟您的 crontab 檔案以進行編輯：
```
$ crontab -e
```
第一次執行命令時，系統可能會提示您選擇編輯器 (nano、vim 等）。

新增 Cron 任務項目

每 5 分鐘新增以下行來執行任務（將路徑取代為步驟 1 和 2 的實際值）：


*/5 * * * * /path/to/deadline queue sync-output --profile deadline-downloader --farm-id YOUR_FARM_ID --queue-id YOUR_QUEUE_ID --storage-profile-id YOUR_PROFILE_ID --checkpoint-dir /path/to/checkpoint/directory >> /path/to/logs/deadline_sync.log 2>&1

驗證 Cron 任務安裝

儲存並結束編輯器之後，請確認已新增 cron 任務：
```
$ crontab -l
```
您應該會看到您的新任務已列出。

檢查 Cron 服務狀態

確保 cron 服務正在執行：


# For systemd systems (most modern Linux distributions)
$ sudo systemctl status cron
# or
$ sudo systemctl status crond

# For older systems
$ sudo service cron status

如果未執行，請啟動它：


$ sudo systemctl start cron
$ sudo systemctl enable cron  # Enable auto-start on boot

macOS

驗證截止日期 CLI 安裝

取得截止日期可執行檔的確切路徑：
```
$ which deadline
```
請注意此路徑（例如 /opt/homebrew/bin/deadline) 用於 plist 檔案。
建立檢查點目錄和日誌目錄

建立存放檢查點檔案的目錄：
```
$ mkdir -p /path/to/checkpoint/directory
$ mkdir -p /path/to/logs
```
考慮使用 https://formulae.brew.sh/formula/logrotate 在日誌檔案上設定日誌輪換

建立 Plist 檔案

使用~/Library/LaunchAgents/com.user.deadlinesync.plist下列內容在建立組態檔案 (/path/to/deadline以步驟 1 的實際路徑取代）：


<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
    <key>Label</key>
    <string>com.user.deadlinesync</string>
    <key>ProgramArguments</key>
    <array>
        <string>/path/to/deadline</string>
        <string>queue</string>
        <string>sync-output</string>
        <string>--profile</string>
        <string>deadline-downloader</string>
        <string>--farm-id</string>
        <string>YOUR_FARM_ID</string>
        <string>--queue-id</string>
        <string>YOUR_QUEUE_ID</string>
        <string>--storage-profile-id</string>
        <string>YOUR STORAGE PROFILE ID</string>
        <string>--checkpoint-dir</string>
        <string>/path/to/checkpoint/dir</string>
    </array>
    <key>RunAtLoad</key>
    <true/>
    <key>UserName</key>
    <string>YOUR_USER_NAME</string>
    <key>StandardOutPath</key>
    <string>/path/to/logs/deadline_sync.log</string>
    <key>StartInterval</key>
    <integer>300</integer>
</dict>
</plist>

--ignore-storage-profiles 如果您的下載機器與提交機器相同，請將--storage-profile-id YOUR_PROFILE_ID上述取代為。

驗證清單檔案

驗證 plist 檔案的 XML 語法：
```
$ plutil -lint ~/Library/LaunchAgents/com.user.deadlinesync.plist
```
如果檔案有效，命令會傳回 "OK"。

檢查現有的啟動代理程式或啟動協助程式

檢查啟動代理程式是否已載入：


$ launchctl list | grep deadlinesync
OR
$ sudo launchctl list | grep deadlinesync

如果存在，請先卸載：


$ launchctl bootout gui/$(id -u)/com.user.deadlinesync
OR
$ sudo launchctl bootout system/com.user.deadlinesync

建立和引導

若要在使用者登入時執行此任務，請以 LaunchAgent 執行它。若要執行此任務，而不讓使用者在每次執行機器時登入，請以 LaunchDaemon 執行它。
1. 若要以 LaunchAgent 身分執行：
  1. 使用在下建立的組態 ~/Library/LaunchAgents/com.user.deadlinesync.plist
  2. 然後使用引導命令載入組態：
```
$ launchctl bootstrap gui/$(id -u) ~/Library/LaunchAgents/com.user.deadlinesync.plist
```
2. 若要以 LaunchDaemon 身分執行：
  1. 執行下列動作以移動 Pilst 檔案並變更許可：
```
$ sudo mv ~/Library/LaunchAgents/com.user.deadlinesync.plist /Library/LaunchDaemons/ 
$ sudo chown root:wheel /Library/LaunchDaemons/com.user.deadlinesync.plist 
$ sudo chmod 644 /Library/LaunchDaemons/com.user.deadlinesync.plist
```
  2. 使用現代引導命令載入啟動代理程式：
```
$ sudo launchctl bootstrap system /Library/LaunchDaemons/com.user.deadlinesync.plist
```
驗證狀態

如果您啟動 LaunchAgent，請執行下列動作以確認已載入：
```
$ launchctl list | grep deadlinesync
```
如果您啟動 LaunchDaemon，請執行下列動作來確認已載入：
```
$ sudo launchctl list | grep deadlinesync
```
輸出看起來應該像
```
SOME_PID_NUMBER 0 com.user.deadlinesync
```
如需詳細狀態資訊：
```
$ launchctl print gui/$(id -u)/com.user.deadlinesync
```
這會顯示目前狀態、程式引數、環境變數、執行間隔和執行歷史記錄。

Windows

注意

使用這些指示建立的排程任務只有在使用者登入時才有效。

若要在系統啟動時進行設定，而不需要使用者登入，請參閱 Microsoft 網站上的官方Windows文件。

對於以下所有步驟，請使用命令提示 - 以管理員身分執行：

驗證截止日期 CLI 安裝

尋找截止日期可執行檔：
```
C:\> where deadline
```
記下用於任務的完整路徑（例如 C:\Program Files\Amazon\DeadlineCloud\deadline.exe)。
建立檢查點目錄

建立存放檢查點檔案的目錄：
```
C:\> mkdir "path\to\checkpoint\directory"
```
建立日誌目錄

建立任務日誌的目錄：
```
C:\> mkdir "path\to\logs"
```

建立批次檔案包裝函式

使用下列內容建立批次檔案：


C:\> notepad C:\path\to\deadline_sync.bat


YOUR_PATH_TO_DEADLINE.EXE queue sync-output --profile deadline-downloader --farm-id YOUR_FARM_ID --queue-id YOUR_QUEUE_ID --storage-profile-id YOUR_PROFILE_ID --checkpoint-dir path\to\checkpoint\checkpoints > path\to\logs\deadline.log 2>&1

測試批次檔案

手動測試批次檔案：
```
C:\> .\path\to\deadline_sync.bat
```
檢查日誌檔案是否已建立：
```
C:\> notepad path\to\logs\deadline_sync.log
```
檢查任務排程器服務

確保任務排程器服務正在執行：
```
C:\> sc query "Schedule"
```
如果服務不存在，請嘗試其他名稱：
```
C:\> sc query "TaskScheduler"
C:\> sc query "Task Scheduler"
```
如果未執行，請啟動它：
```
C:\> sc start "Schedule"
```
建立排程任務

建立任務以每 5 分鐘執行一次。
```
C:\> schtasks /create /tn "DeadlineOutputSync" /tr "C:\path\to\deadline_sync.bat" /sc minute /mo 5
```
命令明細：
- /tn - 任務名稱
- /tr - 要執行的任務（您的批次檔案）
- /sc minute /mo 5 - 排程：每 5 分鐘
驗證任務建立

檢查任務是否已成功建立：
```
schtasks /query /tn "DeadlineOutputSync" /v /fo LIST
```
尋找：
- 要執行的任務：應該顯示您的批次檔案路徑
- 下次執行時間：應該會在 5 分鐘內顯示時間

測試任務執行

手動執行任務以測試：


schtasks /run /tn "DeadlineOutputSync"

檢查任務狀態：


schtasks /query /tn "DeadlineOutputSync"

驗證設定

若要驗證自動下載設定是否成功，請完成下列步驟。

提交新的測試任務。
等待一個排程器間隔完成，在此情況下為 5 分鐘。
確認已自動下載新的輸出。

如果輸出未下載，請檢查程序日誌的故障診斷區段。

對自動下載進行故障診斷

如果您遇到自動下載的問題，請檢查下列項目：

下載錯誤代碼

當下載失敗時，截止日期雲端監視器中的下載狀態欄會命名原因，而deadline queue sync-output命令會記錄下列其中一個錯誤代碼。這些錯誤大多會在執行下載命令的機器上解決，通常與您檢視監視器的機器不同。

PERMISSION_DENIED （許可遭拒）: 不允許下載程式寫入輸出位置，或其 AWS 登入資料被拒絕存取。授予執行下載命令寫入存取輸出位置的使用者，確認命令的 AWS 設定檔可存取佇列，然後再次執行命令。
DISK_FULL （磁碟已滿）: 執行下載的機器已用盡磁碟空間。釋放保留輸出位置之磁碟機上的空間，然後再次執行命令。
PATH_NOT_FOUND （找不到路徑）: 輸出目的地不存在，或未掛載在執行下載的機器上。建立目錄或掛載共用磁碟機，然後再次執行命令。
NETWORK_ERROR （網路錯誤）: 網路中斷會停止傳輸。網路錯誤通常是暫時性的。再次執行命令，並在錯誤重複時檢查機器的連線。
UNKNOWN （失敗）: 下載程式無法識別特定原因。監視器會顯示此程式碼失敗及其無法辨識的任何程式碼失敗。檢查 deadline queue sync-output命令的日誌輸出是否有基礎錯誤。

下載失敗的任務會在之後每次執行時自動重試。嘗試失敗五次後，下載程式會停止重試任務並列印警告。修正原因之後，請使用涵蓋任務完成時的回顧視窗執行下載命令來復原任務：


deadline queue sync-output --farm-id FARM_ID --queue-id QUEUE_ID \
    --storage-profile-id STORAGE_PROFILE_ID \
    --force-bootstrap --bootstrap-lookback-minutes 1440

將兩個旗標一起傳遞。--bootstrap-lookback-minutes 選項預設為 0，因此 --force-bootstrap 不會自行復原任何項目。

為什麼我的任務被略過？

當下載程式略過任務時，下載狀態欄會直接在儲存格中命名原因：

無附件 (no_attachments): 任務未隨任務附件提交，因此沒有要下載的已記錄輸出檔案。有些任務永遠不會產生可下載的輸出，因此沒有附件的略過任務通常不需要任何動作。
遺失儲存描述檔 (missing_storage_profile): 當下載命令使用儲存描述檔時，在沒有儲存描述檔的情況下提交任務，因此下載程式不知道任務的檔案在每個機器上的位置。在為任務設定儲存設定檔之前，不會下載任何任務。提交任務時，會設定任務的儲存設定檔，因此請使用儲存設定檔提交任務，並將相同的設定檔傳遞至下載命令。在任務表中，遺失儲存設定檔狀態是開啟說明的連結、文件連結，以及使用 AI 進行故障診斷按鈕。如需詳細資訊，請參閱任務附件的儲存設定檔。

在產生輸出之前，沒有顯示原因的略過任務已取消或停止。它不需要任何動作。

這是下載問題還是轉譯問題？

任務的下載狀態欄中的問題可能表示兩個不同的項目，而且有不同的修正。狀態文字會告訴您擁有哪一個：

執行狀態為的任務上沒有輸出FAILED表示任務無法在陣列上轉譯。從未產生任何檔案，因此無需下載任何檔案。您的磁碟機和網路沒問題。檢查任務的日誌以尋找轉譯錯誤、修正錯誤，然後重新排入任務佇列。任務也可以在成功完成後顯示沒有輸出，而無需撰寫任何檔案，這是正常的，不需要採取任何動作。
錯誤名稱，例如拒絕許可，表示已轉譯的任務及其輸出存在，並將檔案複製到檔案系統失敗。使用解決錯誤下載錯誤代碼。

在任務表格中，兩個問題都會在任務的下載進度列中顯示為紅色區段。開啟任務的任務資料表，以將其分開。每個任務失敗的任務會顯示破折號而非下載錯誤，因為任務從未產生輸出。任務自己的狀態欄會報告該失敗。在這些轉譯失敗案例中診斷下載會浪費時間，因此請務必先檢查任務的執行狀態。

使用 AI 進行故障診斷

截止日期雲端監視器中的下載失敗訊息，包括紅色輸出同步失敗指標，包括使用 AI 進行故障診斷按鈕。此按鈕會開啟截止日期雲端助理，它會讀取佇列的下載狀態記錄，並引導您完成特定失敗，包括要執行以修正的命令。

當您嘗試修正錯誤碼後、看到無法辨識的錯誤，或不確定問題在哪個機器上時，下載仍失敗時，請加以聯繫。為監視器啟用截止日期雲端助理時，按鈕會出現。如需詳細資訊，請參閱截止日期雲端助理。

儲存設定檔問題

日誌檔案中類似 [Errno 2] No such file or directory或 [Errno 13] Permission denied的錯誤可能與遺失或設定錯誤的儲存設定檔有關。
如需下載機器與提交機器不同時如何設定儲存設定檔https://docs.aws.amazon.com/deadline-cloud/latest/userguide/storage-profile-job-attachments.html的相關資訊，請參閱儲存設定檔。
對於相同的機器下載，請嘗試 --ignore-storage-profiles旗標。

目錄許可

確保排程器服務使用者具有：
- 對檢查點目錄的讀取/寫入存取權
- 輸出目的地目錄的寫入存取權
對於 Linux和 macOS，使用 ls -la 檢查許可。
對於 Windows，請檢閱屬性資料夾中的安全性設定。

檢查排程器日誌

Linux

檢查 cron 服務是否正在執行：



# For systemd systems
$ sudo systemctl status cron
# or
$ sudo systemctl status crond

# Check if your user has cron job correctly configured
$ crontab -l

檢視 Cron 執行日誌：



# Check system logs for cron activity (most common locations)
$ sudo tail -f /var/log/syslog | grep CRON
$ sudo tail -f /var/log/cron.log | grep deadline

# View recent cron logs
$ sudo journalctl -u cron -f
$ sudo journalctl -u crond -f  # On some systems

檢查您的特定 Cron 任務日誌：



# View the log file specified in your cron job
$ tail -100f /path/to/logs/deadline_sync.log

在系統日誌中搜尋 Cron 任務執行：



# Look for your specific cron job executions
$ sudo grep "deadline.*sync-output" /var/log/syslog

# Check for cron job starts and completions
$ sudo grep "$(whoami).*CMD.*deadline" /var/log/syslog

檢查檢查點檔案更新：



# List checkpoint files with timestamps
$ ls -la /path/to/checkpoint/directory/

# Check when checkpoint was last modified
$ stat /path/to/checkpoint/directory/queue-*_download_checkpoint.json

檢查日誌檔案：



$ ls -la /path/to/log/deadline_sync.log

macOS

檢視啟動代理程式執行日誌：

檢查啟動代理程式是否正在執行：
```
$ sudo launchctl list | grep deadlinesync
       
```
輸出顯示：PID Status Label(PID 將在目前未執行-時，這是間隔任務的正常情況）
檢視詳細的啟動代理程式狀態：
```
$ sudo launchctl print system/com.user.deadlinesync
       
```
這會顯示執行歷史記錄、上次結束程式碼、執行次數和目前狀態。

檢視啟動代理程式執行日誌：



# View recent logs (last hour)
log show --predicate 'subsystem contains "com.user.deadlinesync"' --last 1h

# View logs from a specific time period
log show --predicate 'subsystem contains "com.user.deadlinesync"' --start '2024-08-27 09:00:00'

強制執行啟動代理程式以進行立即測試：
```
$ sudo launchctl kickstart gui/$(id -u)/com.user.deadlinesync
       
```
無論排程為何，這都會立即觸發任務，這對於測試很有用。

檢查檢查點檔案更新：



# List checkpoint files with timestamps
$ ls -la /path/to/checkpoint/directory/

檢查日誌檔案：



$ ls -la /path/to/log/deadline_sync.log

Windows

檢查任務排程器服務是否正在執行：
```
C:\> sc query "Schedule"
```
如果服務不存在，請嘗試其他名稱：
```
C:\> sc query "TaskScheduler"
C:\> sc query "Task Scheduler"
```

檢視您的排程任務：



C:> schtasks /query /tn "DeadlineOutputSync"

檢查任務的日誌檔案：



# View the log file created by your batch script
C:> notepad C:\path\to\logs\deadline_sync.log

檢查檢查點檔案更新：



# List checkpoint files with timestamps
C:> dir "C:\path\to\checkpoint\directory" /od

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

文件慣用形式

虛擬檔案系統

追蹤支出和用量