
gemini pro api在自定义安全设置后仍可能阻断回复。本文将详细解释为何直接设置字典无效,并提供正确的python代码示例,指导开发者通过导入`safetysetting`、`harmcategory`和`harmblockthreshold`等类,以对象列表形式配置安全阈值,从而有效管理内容审核,确保api稳定输出,避免不必要的阻断异常。
Google Gemini Pro API集成了强大的内容安全检测机制,旨在过滤有害、不适宜或违反政策的内容。开发者在使用API时,即使尝试通过自定义safety_settings来放宽内容限制,仍可能遇到BlockedPromptException,提示内容因安全原因被阻断。这通常是因为对安全设置的配置方式存在误解。
最初,开发者可能尝试直接将一个字典传递给safety_settings参数,例如:
def get_gemini_response(question, safety_settings=None):
if safety_settings is None:
safety_settings = {
'SEXUALLY_EXPLICIT': 'block_none',
'HATE_SPEECH': 'block_none',
'HARASSMENT': 'block_none',
'DANGEROUS_CONTENT': 'block_none'
}
# ... 调用模型 ...然而,这种字典形式的设置方式并不能被Gemini Pro API正确解析为有效的安全配置。API期望接收的是一个特定类型的对象列表,而不是简单的字符串映射。当API收到不符合预期的设置时,它会回退到默认的安全策略,或者无法正确应用自定义规则,从而导致即使开发者意图“不阻断任何内容”(block_none),仍然会因内容被判定为高风险而触发阻断异常,例如:
BlockedPromptException: block_reason: SAFETY safety_ratings { category: HARM_CATEGORY_SEXUALLY_EXPLICIT probability: NEGLIGIBLE } safety_ratings { category: HARM_CATEGORY_HATE_SPEECH probability: HIGH } safety_ratings { category: HARM_CATEGORY_HARASSMENT probability: NEGLIGIBLE } safety_ratings { category: HARM_CATEGORY_DANGEROUS_CONTENT probability: NEGLIGIBLE }这个异常明确指出,即使其他类别概率较低,HARM_CATEGORY_HATE_SPEECH的概率为HIGH,这足以触发默认的阻断机制。
要正确配置Gemini Pro API的安全设置,我们需要导入特定的类,并以SafetySetting对象的列表形式来定义每个有害类别的阻断阈值。
首先,从vertexai.preview.generative_models和google.cloud.aiplatform_v1beta1.types.content中导入相关类:
from vertexai.preview.generative_models import (
GenerativeModel,
HarmCategory,
HarmBlockThreshold,
GenerationResponse
)
from google.cloud.aiplatform_v1beta1.types.content import SafetySetting接下来,在调用model.generate_content()时,将safety_settings参数设置为一个包含SafetySetting对象的列表。每个SafetySetting对象应指定一个category(有害类别)和一个threshold(阻断阈值)。
以下是正确配置所有常见有害类别为“不阻断”(BLOCK_NONE)的示例:
from vertexai.preview.generative_models import (
GenerativeModel,
HarmCategory,
HarmBlockThreshold,
GenerationResponse
)
from google.cloud.aiplatform_v1beta1.types.content import SafetySetting
def get_gemini_response_with_custom_safety(prompt_text: str, text: str) -> GenerationResponse:
"""
使用自定义安全设置调用Gemini Pro模型。
Args:
prompt_text: 包含占位符的提示模板。
text: 填充到提示模板中的实际文本。
Returns:
模型的生成响应。
"""
model = GenerativeModel("gemini-pro")
response: GenerationResponse = model.generate_content(
prompt_text.format(text),
generation_config={
"max_output_tokens": 2048,
"temperature": 0,
"top_p": 1,
},
safety_settings=[
SafetySetting(
category=HarmCategory.HARM_CATEGORY_SEXUALLY_EXPLICIT,
threshold=HarmBlockThreshold.BLOCK_NONE,
),
SafetySetting(
category=HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT,
threshold=HarmBlockThreshold.BLOCK_NONE,
),
SafetySetting(
category=HarmCategory.HARM_CATEGORY_HATE_SPEECH,
threshold=HarmBlockThreshold.BLOCK_NONE,
),
SafetySetting(
category=HarmCategory.HARM_CATEGORY_HARASSMENT,
threshold=HarmBlockThreshold.BLOCK_NONE,
),
]
)
return response
# 示例用法
if __name__ == "__main__":
example_prompt = "请描述以下文本内容:{}"
# 假设这里有一个可能触发安全审查的文本
example_text = "一个关于争议性事件的描述,可能包含敏感词汇。"
try:
# 调用自定义安全设置的函数
gemini_response = get_gemini_response_with_custom_safety(example_prompt, example_text)
print("Gemini Pro 响应内容:")
for part in gemini_response.candidates[0].content.parts:
print(part.text)
# 打印安全评分(即使设置为BLOCK_NONE,模型仍会返回评分)
print("\n安全评分:")
for rating in gemini_response.candidates[0].safety_ratings:
print(f" 类别: {rating.category.name}, 概率: {rating.probability.name}")
except Exception as e:
print(f"调用Gemini Pro API时发生错误: {e}")在这个示例中,我们创建了一个包含四个SafetySetting对象的列表,每个对象都明确指定了一个HarmCategory(如HARM_CATEGORY_SEXUALLY_EXPLICIT)和对应的HarmBlockThreshold.BLOCK_NONE。这意味着对于这些特定类别的有害内容,API将尝试不进行阻断。
理解BLOCK_NONE的含义: 即使将阈值设置为BLOCK_NONE,模型仍然会对内容进行评估并返回安全评分。这表示API不会主动阻断该类别的内容,但如果内容被判定为极其有害或违反Google的服务条款,底层系统仍可能介入进行阻断。BLOCK_NONE旨在为开发者提供更大的灵活性,但并非完全取消内容审核。
谨慎调整安全设置: 根据您的应用场景和法律合规性要求,谨慎调整HarmBlockThreshold。除了BLOCK_NONE,还有其他阈值选项:
API版本兼容性: 请注意,vertexai库和google.cloud.aiplatform_v1beta1是Google Cloud AI Platform SDK的一部分。随着SDK版本的迭代,导入路径或类名可能会有细微变化。请始终查阅最新的官方文档以确保代码的兼容性。
错误处理: 即使正确配置了安全设置,仍然建议在代码中加入错误处理机制,捕获BlockedPromptException或其他可能的API异常,以便在内容确实被阻断时能进行优雅处理,例如提示用户修改输入或记录日志进行分析。
内容评估透明度: 即使内容未被阻断,GenerationResponse中仍然会包含safety_ratings信息。开发者可以利用这些评分来了解模型对内容的风险评估,从而在应用程序层面进行额外的过滤或提示。
正确配置Gemini Pro API的安全设置是确保API稳定运行、有效管理内容输出的关键。通过导入SafetySetting、HarmCategory和HarmBlockThreshold等类,并以对象列表的形式传递给safety_settings参数,开发者可以精确控制每个有害类别的阻断阈值。理解这些设置的真正含义,并结合应用程序的需求进行谨慎调整,将有助于构建更健壮、更符合预期的AI应用。
以上就是Gemini Pro API安全设置详解:如何有效避免内容阻断的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号