oracle159 [23ai] new feature 벡터 타입과 ai벡터검색 - pdf파일을 백터검색하기 (2) 테스트 목표 : 임베딩모델을 이용하여 pdf 파일을 분석하기 필요파일1)임베딩 모델 zip파일all_MiniLM_L12_v2_augmented.ziphttps://adwc4pm.objectstorage.us-ashburn-1.oci.customer-oci.com/p/VBRD9P8ZFWkKvnfhrWxkpPe8K03-JIoM5h_8EJyJcpE80c108fuUjg7R5L5O7mMZ/n/adwc4pm/b/OML-Resources/o/all_MiniLM_L12_v2_augmented.zip 2)ai-vector-search-users-guide.pdf 두개 파일을 테스트할 서버에 업로드합니다.1번파일 압축풀기$ mkdir -p /home/oracle/vector$cd /home/oracle/vector.. 2024. 11. 12. [23ai] new feature 벡터 타입과 ai벡터검색 - 유사성검색 (3) 이전글과 이어집니다.https://bae9086.tistory.com/571 이전 글에서는 pdf 파일을 chunk로 테이블에 insert하는 것까지 완료하였습니다.이 데이터를 통해 유사성 검색을 테스트 해보도록 하겠습니다. 검색할 텍스트 : different methods of backup and recovery임베딩 모델 : ALL_MINILM_L12_V2 SQLPLUS에서 수행하는 방법과 디비버(client tool)에서 수행하는 방법으로 테스트해보았습니다.두개다 방식은 동일하며,1) 임베딩모델을 이용하여 쿼리 벡터를 먼저 생성한 후2)쿼리 벡터를 이용하여 유사한 Chunk를 테이블에서 검색합니다. 0)임베딩 모델 확인 ORA-40284: 모델이 존재하지 않습니다 발생시에는 DROP 후 재생성합니.. 2024. 11. 12. [23ai] new feature 벡터 타입과 ai벡터검색 (1) 23ai가 되면서 생긴 새로운 데이터타입입니다.사용법은 아래와 같습니다.CREATE TABLE docs (doc_id INT, doc_text CLOB, doc_vector VECTOR); 그렇다면 벡터 검색이란 무엇이고 어떤 경우에 사용할까요?Oracle AI 벡터 검색Oracle AI Vector Search stores vector embeddings, which are mathematical vector representations of data points.수학적 벡터인 벡터임베딩을 저장하는데요. 벡터란 수학적인 벡터를 의미하고 임베딩은 자연언어 처리분야에서 자연언어를 벡터로 바꾸는 방식을 뜻하며 표현(representation)이라고도 합니다.벡터는 크기와 방향을 가진 데이터로 유사한 의미를 .. 2024. 11. 11. DOP Downgrade? 쿼리를 수행하다가 보니 SQL_MONITOR에서 DOP Downgrade라는 부분이 있었습니다.저는 해당 쿼리를 PARALLEL 8로 수행하였는데, SQL_MONITOR에서는 DOP Downgrade : 100%라고 나오며 serial하게 수행되고 있었던 것이죠.저도 첨보는 현상이라 검색을 좀해보니 여러 이유로 일어날 수 있는 일이고, 쿼리에서 전체 다 그런것이 아니라 일부분만 serial하게 처리되고 나머지부분은 parallel하게 처리될수도 있더라구요. 그래서 v$sql_monitor를 이용한 쿼리를 통해서 DOP downgrade가 일어날때 어떤 이유로 일어났는지에 대해서 알수 있는 방법을 적어보겠습니다. alter session set nls_date_format='DD-MM-YYYY HH24:M.. 2024. 11. 10. 이전 1 2 3 4 5 ··· 40 다음
