feat: add stream_item_content method for async content streaming
Co-authored-by: aider (openai/andrew/openrouter/qwen/qwen3-coder) <aider@aider.chat>
This commit is contained in:
@@ -51,6 +51,57 @@ impl AsyncItemService {
|
|||||||
.unwrap()
|
.unwrap()
|
||||||
}
|
}
|
||||||
|
|
||||||
|
pub async fn stream_item_content(
|
||||||
|
&self,
|
||||||
|
item_id: i64,
|
||||||
|
allow_binary: bool,
|
||||||
|
offset: u64,
|
||||||
|
length: u64,
|
||||||
|
) -> Result<(impl tokio_stream::Stream<Item = Result<bytes::Bytes, std::io::Error>>, String), CoreError> {
|
||||||
|
let item_with_content = self.get_item_content(item_id).await?;
|
||||||
|
let metadata = item_with_content.item_with_meta.meta_as_map();
|
||||||
|
|
||||||
|
// Check if content is binary when allow_binary is false
|
||||||
|
if !allow_binary {
|
||||||
|
let is_content_binary = if let Some(binary_val) = metadata.get("binary") {
|
||||||
|
binary_val == "true"
|
||||||
|
} else {
|
||||||
|
// If binary metadata not available, check the actual content
|
||||||
|
is_binary(&item_with_content.content)
|
||||||
|
};
|
||||||
|
|
||||||
|
if is_content_binary {
|
||||||
|
return Err(CoreError::InvalidInput("Binary content not allowed".to_string()));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
let mime_type = metadata
|
||||||
|
.get("mime_type")
|
||||||
|
.map(|s| s.to_string())
|
||||||
|
.unwrap_or_else(|| "application/octet-stream".to_string());
|
||||||
|
|
||||||
|
// Open the file for streaming
|
||||||
|
let file_path = self.data_path.join(format!("{}.dat", item_id));
|
||||||
|
let file = tokio::fs::File::open(&file_path).await?;
|
||||||
|
let mut buffered_file = tokio::io::BufReader::new(file);
|
||||||
|
|
||||||
|
// Seek to the requested offset if needed
|
||||||
|
if offset > 0 {
|
||||||
|
buffered_file.seek(std::io::SeekFrom::Start(offset)).await?;
|
||||||
|
}
|
||||||
|
|
||||||
|
// Create a reader stream with optional length limit
|
||||||
|
let stream = if length > 0 {
|
||||||
|
// Limit the stream to the specified length
|
||||||
|
ReaderStream::new(buffered_file.take(length))
|
||||||
|
} else {
|
||||||
|
// Stream the entire file from the offset
|
||||||
|
ReaderStream::new(buffered_file)
|
||||||
|
};
|
||||||
|
|
||||||
|
Ok((stream, mime_type))
|
||||||
|
}
|
||||||
|
|
||||||
pub async fn find_item(
|
pub async fn find_item(
|
||||||
&self,
|
&self,
|
||||||
ids: Vec<i64>,
|
ids: Vec<i64>,
|
||||||
|
|||||||
Reference in New Issue
Block a user