안녕하세요 오랫만에 프로젝트 진행하며 이슈관련 글을 올리네요.
talend 라는 open source ETL 툴이 있습니다.
해당 툴<->ApacheMQ에서 데이터를 끌어와서 DB에 넣는 작업을 진행 하는 툴인데요.
이 탈렌드 란 툴이 결국 하는건, JAVA 소스를 생성해서 jar 파일을 만드는 겁니다.
그러다 보니 사용시 이런 저런 문제가 있어서 해당 문제점을 열거 할까 합니다.
- Spring 처럼 eclipse 기반 IDE 툴이다.
- UI상에 그려진 Design 을 토대로 Java 파일을 생성하므로, 생성된 소스의 양 제한이 있다 (65536 byte limit)
- Transaction 처리 후 여러개 NODE 처리를 한꺼번에 할수 없고, 순차적으로 NODE 생성을 한 후에야 처리가 가능하다.
- 7.3의 경우 Log4j2를 활용하여 설정 할수 있고, 해당 코드에 log란 전역 변수가 있기에 파일로 남길수 있지만 , 7.1.1의 경우 불가하다.
- MS의 WorkFlow, LG의 bizAct, 같은개념이 적용된 UI->Code 컨버팅 툴에서 발생되는 문제점을 동일하게 갖고 있다( 코드 몇줄 -> UI의 복잡한 설정)
- 코드를 사용할주 모르는 일반인이 ApacheMQ를 활용하여 DB연동하는 간단한 시스템 구축에 이상적인 툴 같다.
관련 링크
https://community.talend.com/s/article/Exceeding-the-Java-bytes-limit-1Z1UZ
Exceeding the Java 65535 bytes limit
Overview This article explains the causes of this error and offers troubleshooting ideas and solutions. Symptoms If a subjob has too many components or if there are too many columns in the schema, the Talend Job may fail to compile, and produce the followi
community.talend.com
https://stackoverflow.com/questions/42802800/talend-log-level-of-tlogrow-log4j
talend - log level of tLogRow - log4j
I have a tLogRow component that logs the output of tSetGlobalVar and tContextDump. I have exported the job, and in the zip file I found a log4j which makes me think it is using this for the tLogRow
stackoverflow.com
'습작 및 R&D' 카테고리의 다른 글
| 엑셀 CSV 파일 파싱하기. (0) | 2021.11.10 |
|---|---|
| C# SendKeys.Enter 관련 Delay 관련 리서치 (0) | 2021.06.30 |
| ActiveMQ에서 메시지 내용 audit 하는 방법. (0) | 2021.03.23 |
| 오렌지 파이 원 데스크탑 설치 관련 기록 남깁니다. (0) | 2021.01.12 |
| curl 을 이용해서 웹페이지 euc-kr을 utf-8 로 변환하는 커맨드 입니다. (0) | 2019.10.21 |
Rss Feed