프롬프트 설계

적절한 프롬프트를 설계하는 것은 Amazon Bedrock 모델을 사용하여 성공적인 애플리케이션을 빌드하기 위한 중요한 단계입니다. 이 섹션에서는 일관되고 명확하며 간결한 프롬프트를 설계하는 방법을 알아봅니다. 또한 추론 파라미터를 사용하여 모델의 응답을 제어하는 방법에 대해서도 알아봅니다. 다음 그림에서는 '음식점 리뷰 요약'이라는 사용 사례를 위한 일반적인 프롬프트 설계를 보여주고, 고객이 프롬프트를 설계할 때 고려해야 하는 몇 가지 중요한 설계 선택 항목을 보여줍니다. 제공된 명령이나 프롬프트 형식이 일관되지 않고, 명확하지 않고, 간결하지 않은 경우 LLM은 원치 않는 응답을 생성합니다.

(소스: 프롬프트 작성자 AWS)

다음 내용은 성공적인 프롬프트를 생성하는 방법에 대한 지침을 제공합니다.

간단하고 명확하며 완전한 명령 제공

Amazon Bedrock의 LLM은 간단하고 직관적인 명령을 사용했을 때 가장 잘 작동합니다. 태스크에 대한 기대치를 명확하게 설명하고 가능한 한 애매모호한 내용을 줄이면 모델이 프롬프트를 명확하게 해석하도록 보장할 수 있습니다.

예를 들어, 사용자가 여러 가지 선택 항목 중에서 한 가지 답을 얻고자 하는 분류 문제를 가정해 보겠습니다. 아래에 표시된 '올바른' 예제에서는 이러한 경우에 사용자가 원하는 결과를 보여줍니다. '잘못된' 예제에서는 선택 항목의 이름을 모델이 선택할 수 있는 명시적인 범주로 지정하지 않았습니다. 모델은 선택 항목 없이 입력값을 약간 다르게 해석하며, 올바른 예제와 달리 텍스트를 좀 더 자유로운 형식으로 요약합니다.

Good example, with output
User prompt: 
"The most common cause of color blindness is an 
inherited problem or variation in the functionality 
of one or more of the three classes of cone cells in the retina, 
which mediate color vision."

What is the above text about? 
a) biology
b) history 
c) geology

Output: 
a) biology

Bad example, with output 
User prompt: 
Classify the following text. "The most common cause of color 
blindness is an inherited problem or variation in the functionality 
of one or more of the three classes of cone cells in the retina, 
which mediate color vision."

Output: 
The topic of the text is the causes of colorblindness.

(프롬프트 출처: Wikipedia - color blindness, 사용한 모델: Titan Text G1 - Express)

최상의 결과를 얻으려면 질문이나 명령을 프롬프트의 끝에 배치

마지막에 태스크 설명, 명령 또는 질문을 포함하면 모델이 찾아야 하는 정보를 결정하는 데 도움이 됩니다. 분류의 경우, 답변이 될 수 있는 선택 항목도 마지막에 나와야 합니다.

아래의 오픈북 질문-응답 예제에서 사용자는 텍스트에 대해 특정한 질문을 합니다. 질문이 프롬프트의 끝에 나와야 모델이 태스크에 계속 집중할 수 있습니다.

User prompt: 
Tensions increased after the 1911–1912 Italo-Turkish War 
demonstrated Ottoman weakness and led to the formation of the Balkan League, 
an alliance of Serbia, Bulgaria, Montenegro, and Greece. 
The League quickly overran most of the Ottomans' territory in the Balkans 
during the 1912–1913 First Balkan War, much to the surprise of outside observers.

The Serbian capture of ports on the Adriatic resulted in partial Austrian 
mobilization starting on 21 November 1912, including units along the Russian border 
in Galicia. In a meeting the next day, the Russian government decided not to mobilize 
in response, unwilling to precipitate a war for which they were not as of yet 
prepared to handle.

Which country captured ports?

Output: 
Serbia

(프롬프트 출처: Wikipedia - World War I, 사용한 모델: Amazon Titan Text)

API 호출에는 구분자 문자 사용

API 호출에는 구분자 문자 사용

\n 기호와 같은 구분자 문자는 LLM의 성능에 상당한 영향을 미칠 수 있습니다. Anthropic Claude 모델의 경우 원하는 응답을 얻으려면 API 호출 형식을 지정할 때 줄 바꿈을 포함해야 합니다. 형식은 항상 \n\nHuman: {{Query Content}}\n\nAssistant: 형식을 따라야 합니다. Titan 모델의 경우 프롬프트 끝에 \n 기호를 추가하면 모델의 성능을 개선하는 데 도움이 됩니다. 분류 작업 또는 응답 옵션이 있는 질문의 경우, Titan 모델에서 응답 옵션을 \n 기호로 구분할 수도 있습니다. 구분자 사용에 대한 자세한 내용은 해당 모델 제공업체의 설명서를 참조하세요. 아래 예제는 분류 태스크의 템플릿입니다.

Prompt template: 
"""{{Text}}

{{Question}}

{{Choice 1}}
{{Choice 2}}
{{Choice 3}}"""

아래 예제에서는 선택 항목과 프롬프트 끝 사이에 줄 바꿈 문자가 있을 경우 Titan이 원하는 응답을 생성하는 데 어떤 도움이 되는지 보여줍니다.

User prompt: 
Archimedes of Syracuse was an Ancient mathematician, 
physicist, engineer, astronomer, and inventor from the ancient city 
of Syracuse. Although few details of his life are known, 
he is regarded as one of the leading scientists in classical antiquity.

What was Archimedes? Choose one of the options below.

a) astronomer
b) farmer
c) sailor

Output: 
a) astronomer

(프롬프트 출처: Wikipedia - Archimedes, 사용한 모델: Amazon Titan Text)

출력 지표 사용

출력 지표

모델이 생성해야 하는 출력값에 적용할 제약 조건에 대한 세부 정보를 추가합니다. 아래의 올바른 예제에서는 요약이 잘 된 짧은 문구의 출력값을 생성합니다. 이 사례의 잘못된 예제는 크게 잘못되진 않았지만, 요약 내용이 원본 텍스트와 거의 비슷합니다. 모델에서 원하는 결과를 얻으려면 출력값의 사양이 매우 중요합니다.

User prompt: 
"Charles Mingus Jr. was an American jazz upright 
bassist, pianist, composer, bandleader, and author. 
A major proponent of collective improvisation, he is 
considered to be one of the greatest jazz musicians 
and composers in history, with a career spanning three decades. 
Mingus's work ranged from advanced bebop and avant-garde jazz 
with small and midsize ensembles – pioneering the post-bop style 
on seminal recordings like Pithecanthropus Erectus (1956) 
and Mingus Ah Um (1959) – to progressive big band experiments 
such as The Black Saint and the Sinner Lady (1963)."

Please summarize the above text in one phrase.

Output: 
Charles Mingus Jr. is considered one of the 
greatest jazz musicians of all time.

User prompt: 
"Charles Mingus Jr. was an American jazz upright 
bassist, pianist, composer, bandleader, and author. 
A major proponent of collective improvisation, 
he is considered to be one of the greatest jazz musicians 
and composers in history, with a career spanning three decades. 
Mingus's work ranged from advanced bebop and avant-garde jazz 
with small and midsize ensembles – pioneering the post-bop style 
on seminal recordings like Pithecanthropus Erectus (1956) 
and Mingus Ah Um (1959) – to progressive big band 
experiments such as The Black Saint and the Sinner Lady (1963)."

Please summarize the above text.

Output: 
Charles Mingus Jr. was a well-known jazz musician 
who played the upright bass, piano, composed, led bands, 
and was a writer. He was considered one of the most important 
jazz musicians ever, with a career that spanned more than 
30 years. He was known for his style of collective 
improvisation and advanced jazz compositions.

(프롬프트 출처: Wikipedia - Charles Mingus, 사용한 모델: Amazon Titan Text)

여기에서는 출력 지표를 사용하는 Anthropic Claude 및 AI21 Labs Jurassic 모델의 몇 가지 추가적인 예를 제공합니다.

아래의 예제에서는 사용자가 프롬프트에서 예상 출력 형식을 지정하여 출력 형식을 지정할 수 있다는 걸 보여줍니다. 특정 형식(예: XML 태그 사용)을 사용하여 응답을 생성하라고 요청하면 모델은 그에 따라 응답을 생성할 수 있습니다. 구체적인 출력 형식 지표가 없으면 모델은 자유형 텍스트를 출력합니다.

User prompt: 
        	
        	
Human: Extract names and years: the term 
machine learning was coined in 1959 by Arthur Samuel, 
an IBM employee and pioneer in the field of computer 
gaming and artificial intelligence. The synonym self-teaching 
computers was also used in this time period.

Please generate answer in <name></name> and 
<year></year> tags.

Assistant:

Output: 
<name>Arthur Samuel</name> <year>1959</year>

User prompt: 
        	
        	
Human: Extract names and years: the term 
machine learning was coined in 1959 by Arthur Samuel, 
an IBM employee and pioneer in the field of computer 
gaming and artificial intelligence. The synonym 
self-teaching computers was also used in this time 
period. 

Assistant:

Output: 
Arthur Samuel - 1959

(프롬프트 출처: Wikipedia - machine learning, 사용한 모델: Anthropic Claude)

아래의 예제에서는 AI21 Labs Jurassic 모델의 프롬프트와 응답을 보여줍니다. 사용자는 왼쪽 열에 표시된 출력 형식을 지정하여 정확한 응답을 얻을 수 있습니다.

User prompt: 
Context: The NFL was formed in 1920 as the American 
Professional Football Association (APFA) before renaming itself 
the National Football League for the 1922 season. After initially 
determining champions through end-of-season standings, a playoff 
system was implemented in 1933 that culminated with the NFL 
Championship Game until 1966. Following an agreement to merge 
the NFL with the rival American Football League (AFL), the 
Super Bowl was first held in 1967 to determine a champion 
between the best teams from the two leagues and has remained 
as the final game of each NFL season since the merger 
was completed in 1970.

Question: Based on the above context, when was the first Super Bowl? 
Please only output the year.

Output: 
1967

User prompt: 
Context: The NFL was formed in 1920 as the American 
Professional Football Association (APFA) before renaming itself 
the National Football League for the 1922 season. After initially 
determining champions through end-of-season standings, a playoff 
system was implemented in 1933 that culminated with the NFL 
Championship Game until 1966. Following an agreement to merge 
the NFL with the rival American Football League (AFL), the Super 
Bowl was first held in 1967 to determine a champion between 
the best teams from the two leagues and has remained as the 
final game of each NFL season since the merger was completed in 1970.

Question: Based on the above context, when was the first Super Bowl?

Output: 
The first Super Bowl was held in 1967.

(프롬프트 출처: Wikipedia - National Football League, 사용한 모델: AI21 Labs Jurassic-2 Ultra v1)

올바른 일반화를 위한 모범 사례

프롬프트 수정 사항이 일반화되는지 확인하려면 프롬프트의 작은 '홀드아웃' 테스트 세트를 유지합니다. 이 방법을 사용할 경우, 우선 샘플 데이터 세트를 수집합니다. 그런 다음, 데이터를 두 개의 하위 세트, 즉 '개발' 세트와 홀드아웃 '테스트' 세트로 분리할 수 있습니다. '개발' 세트를 프롬프트 개발 데이터로 사용하여 다양한 프롬프트 수정을 시도하고, 모델 응답 변경 사항을 관찰하여 가장 적합한 프롬프트를 찾을 수 있습니다. '테스트' 세트는 가장 적합한 최종 프롬프트를 검증하는 데만 사용할 수 있는 보이지 않는 홀드아웃 데이터로 취급합니다.

기본 기능만으로는 충분하지 않을 경우, Amazon Bedrock에서 텍스트 모델의 프롬프트를 최적화합니다.

복잡한 태스크: 단계별로 응답 구축

Titan은 특정 작업에 대한 명확한 단계를 제공할 수 있으며, Think step-by-step to come up with the right answer라는 문구를 포함하면 적절한 출력값을 산출하는 데 도움이 될 수 있습니다.

User prompt: 
At a Halloween party, Jack gets 15 candies. 
Jack eats 5 candies. He wants to give each friend 
5 candies. How many friends can receive candies? 

Think step-by-step to come up with the right answer.

Output: 
15 candies total - 5 candies eaten = 10 candies remaining.
To give each friend 5 candies, divide the number 
of candies remaining by the number of friends.
10 candies / 5 friends = 2 friends.
Each friend can receive 2 candies.
The answer is 2 friends.

(프롬프트 출처: AWS, 사용된 모델: Amazon Titan Text)

Anthropic Claude 모델을 활성화하여 복잡한 작업을 완료하려면, 아래 예제의 형식을 사용하여 모델에 작업을 단계별로 해결하도록 명시적으로 요청합니다. 이러한 접근 방식은 AnthropicClaude 가이드의 지침을 바탕으로 합니다.

User prompt: 
	

Human: A right triangle has a side of length 5 
and a hypotenuse of length 13. 
What is the length of the other side? 

Assistant: Can I think step-by-step?

Human: Yes, please do.

Assistant:

Output:
Okay, here are the steps:

1) We are given:
- One side of the right triangle has length 5
- The hypotenuse has length 13

2) We want to find:
- The length of the other side

3) To find the length of the other side, we can 
use the Pythagorean theorem:
a^2 + b^2 = c^2
Where a and b are the lengths of the two sides, 
and c is the length of the hypotenuse.

4) Plugging in the given values:
a^2 + b^2 = 13^2

5) We know one of the sides is 5, so:
5^2 + b^2 = 169

6) Solving this:
25 + b^2 = 169
b^2 = 144
b = 12

Therefore, the length of the other side is 12.

(프롬프트 출처: AWS, 사용된 모델: Anthropic Claude)

응답을 확신할 수 없는 경우 모델이 제시해야 하는 기본 출력값을 제공합니다.

기본 출력값은 LLM이 맞는 얘기인 것 같은 응답을 반환하는 걸 방지하는 데 도움이 될 수 있으며, 모델의 신뢰도가 낮더라도 효과가 있습니다.

User prompt: 
Provide a proof of the Riemann hypothesis. If you don't 
know a proof, respond by saying "I don't know."

Output: 
I don't know.

User prompt: 
Provide a proof of the Riemann hypothesis.

Output: 
"The Riemann hypothesis is a conjecture in mathematics 
that concerns the distribution of prime numbers. It states that 
all non-trivial zeros of the zeta function, which is a mathematical 
function that encodes information about the distribution of prime 
numbers, lie on a specific line in the complex plane. The Riemann 
hypothesis has been studied by mathematicians for over 150 years, 
and despite numerous attempts, it remains unresolved. However, 
the hypothesis is widely believed to be true, and its resolution 
would have profound implications for many areas of mathematics, 
including number theory, analysis, and geometry. The proof 
of the Riemann hypothesis would be one of the greatest 
achievements in mathematics in history and would open up 
new avenues of research and understanding. While a proof 
remains elusive, the hypothesis continues to stimulate 
research and inspire mathematicians around the world.“

[Note: this is an accurate description, but obviously 
not a proof.]

(프롬프트 출처: AWS, 사용된 모델: Amazon Titan Text)

퓨샷 프롬프팅

프롬프트에 예제(입력-응답 쌍)를 포함하면 LLM의 응답을 크게 개선할 수 있습니다. 예제는 주어진 태스크를 수행할 수 있는 다양한 방법을 보여주므로, 복잡한 태스크에 도움이 될 수 있습니다. 텍스트 분류와 같은 간단한 태스크의 경우, 3~5가지 예제만 있어도 충분할 수 있습니다. 컨텍스트가 없는 질문-응답 같은 더 까다로운 태스크의 경우, 가장 효과적인 출력을 생성하려면 예제를 더 많이 포함합니다. 대부분의 사용 사례에서, 실제 데이터와 의미상으로 유사한 예제를 선택하면 성능을 더욱 개선할 수 있습니다.

한정자를 사용하여 프롬프트를 구체화하는 방법 고려

태스크 명령 구체화란 일반적으로 프롬프트의 명령, 태스크 또는 질문 구성 요소를 수정하는 것을 말합니다. 이러한 방법의 유용성은 태스크 및 데이터에 따라 다릅니다. 유용한 접근 방식은 다음과 같습니다.

추론 파라미터를 사용하여 모델 응답 제어

Amazon Bedrock의 모든 LLM은 모델의 응답을 제어하도록 설정할 수 있는 여러 추론 파라미터와 함께 제공됩니다. 아래에는 Amazon Bedrock LLM에서 사용할 수 있는 모든 일반 추론 파라미터 목록과 이를 사용하는 방법이 나와 있습니다.

온도는 0에서 1 사이의 값이며, LLM 응답의 창의성을 조절합니다. Amazon Bedrock의 LLM에서 동일한 프롬프트에 대해 더 결정론적인 응답을 원하면 낮은 온도를 사용하고, 좀 더 창의적이거나 다른 응답을 원한다면 더 높은 온도를 사용합니다. 이 프롬프트 지침의 모든 예제에서는 온도를 temperature = 0으로 설정했습니다.

최대 생성 길이/최대 신규 토큰 수는 LLM이 프롬프트에 대해 생성하는 토큰 수를 제한합니다. 감정 분류와 같은 일부 태스크에는 긴 답변이 필요하지 않으므로, 이 수를 지정하는 것이 좋습니다.

Top-p는 잠재적인 선택 항목의 확률에 따라 토큰 선택 항목을 제어합니다. Top-p를 1.0 미만으로 설정하면 모델은 확률이 가장 높은 옵션을 고려하고, 확률이 가장 낮은 옵션은 무시합니다. 따라서 더 안정적이고 반복적인 완성이 가능해집니다.

종료 토큰/종료 시퀀스는 LLM이 출력 종료를 나타내는 데 사용하는 토큰을 지정합니다. LLM이 종료 토큰을 발견하면 새 토큰 생성이 중단됩니다. 일반적으로 이 옵션은 사용자가 설정하지 않아도 됩니다.

모델별 추론 파라미터로 있습니다. Anthropic Claude 모델에는 Top-k 추론 파라미터가 추가되어 있으며 AI21 Labs Jurassic 모델에는 존재 페널티, 개수 페널티, 빈도 페널티, 특수 토큰 페널티를 포함한 추론 파라미터 세트가 함께 제공됩니다. 자세한 내용은 해당 설명서를 참조하세요.